Что делать, если ИИ уверенно придумал ответ клиенту

Если ИИ дал клиенту уверенный, но неверный ответ, сначала остановите распространение ошибки и проверьте, кому ещё она могла попасть. Затем разберите, почему система не нашла подтверждение, исправьте правило или источник и проверьте похожие диалоги. Чтобы снизить риск повторения, ИИ должен отвечать по актуальной базе знаний, показывать основание ответа и передавать человеку вопросы, на которые данных недостаточно.

Почему ИИ придумывает ответ

ИИ может составить грамматически правильный и убедительный текст, даже если не располагает проверенным ответом. Это не означает, что система намеренно обманывает клиента. Она формирует вероятное продолжение диалога, а при нехватке точных сведений иногда заполняет пробел догадкой. Уверенный тон сам по себе не подтверждает, что содержание верно.

На практике чаще всего проблема возникает по одной из двух причин. Во-первых, ИИ не нашёл подходящих сведений в доступных материалах: база знаний неполная, устарела или нужная информация записана другими словами. Во-вторых, правило разрешает отвечать даже тогда, когда следовало остановиться и передать вопрос сотруднику. Например, в памятке автосервиса указаны часы работы, но нет актуального срока ремонта конкретной модели. Если боту не задан запрет на предположения, он может назвать срок, которого никто не подтверждал.

Ещё одна причина — смешение разных типов информации. В одном документе могут находиться старые и новые условия акции, черновики и утверждённые прайс-листы. Если система не знает, какой материал главнее, она может выбрать неподходящий. Сходная ситуация возникает, когда ИИ получает вопрос о записи, возврате или лечении, но настроен отвечать на все запросы одинаково, без учёта цены ошибки.

Поэтому на вопрос «Почему ИИ придумывает ответ?» краткий ответ такой: ему не хватило проверенного источника или правило разрешило отвечать там, где нужна передача человеку. Ищите причину в настройках и данных, а не только в формулировке конкретного ответа.

Что сделать сразу после неверного ответа

Сначала определите масштаб. Проверьте, был ли ответ только предложен оператору или уже отправлен клиенту. Выясните, затронуты ли деньги, запись на услугу, обещанный срок, здоровье или персональные данные. Чем выше возможный ущерб, тем быстрее нужен ответственный сотрудник, а не новый автоматический ответ.

1. Остановите повторение. Если ошибка связана с конкретной темой, временно отключите автоматический ответ на такие вопросы или настройте передачу оператору.
2. Проверьте диалог и основание ответа. Зафиксируйте вопрос клиента, сформированный текст, использованные материалы и последующие действия системы. Не пересылайте переписку людям, которым она не нужна для разбора.
3. Свяжитесь с клиентом. Если неверная информация уже повлияла на его решение, сообщите корректные сведения и спокойно объясните, что прежний ответ был ошибочным. Не нужно перекладывать ответственность на «сбой нейросети».
4. Найдите ответственного за процесс. Это может быть руководитель службы поддержки, администратор клиники или владелец направления. Он должен подтвердить, какой ответ считается правильным и кто вправе его утвердить.
5. Исправьте причину и проверьте похожие диалоги. Одной замены ошибочного текста недостаточно: важно понять, не повторяется ли та же проблема в других вопросах.

Если система лишь подготовила черновик, но сотрудник его не отправил, всё равно сохраните случай для проверки. Это сигнал, что при следующем обращении автоматический ответ может уйти клиенту без контроля.

Как построить ответ по проверенному источнику

Надёжная настройка начинается не с просьбы «отвечай правильно», а с определения источников. Для каждого типа вопроса укажите, где лежит действующая информация и кто отвечает за её актуальность. Например, цены берутся из утверждённого прайс-листа, условия записи — из правил администратора, а сведения об услуге — из согласованной инструкции. Черновики и архивные документы лучше отделить от материалов, на которые системе разрешено опираться.

Попросите ИИ проверять, есть ли в источнике прямой ответ, и передавать сотруднику ссылку на использованный материал или его название. Такая ссылка помогает оператору быстро проверить основание. Но сама по себе ссылка ещё не доказывает правильность ответа: система может указать на документ, который не подтверждает конкретную фразу. Поэтому для рискованных тем проверяйте и цитату, и её соответствие вопросу.

Задайте понятное правило отказа от догадки. Например: «Если в утверждённых материалах нет точного ответа или источники противоречат друг другу, не называй цену и срок — передай обращение сотруднику». Для клиента это можно сформулировать естественно: «Не хочу сообщать неподтверждённые сведения. Передам вопрос специалисту, который уточнит детали».

Ключевые материалы должны быть не просто загружены, а управляемы: у каждого есть владелец, дата обновления и порядок замены старой версии. Если в салоне красоты поменялись правила предоплаты, сотрудник должен обновить источник, а не надеяться, что ИИ догадается об изменении из переписки.

Где ограничить самостоятельность системы

Не каждому вопросу нужен одинаковый уровень контроля. Информацию о графике работы можно автоматизировать, если график подтверждён и регулярно обновляется. Возвраты, индивидуальные скидки, медицинские рекомендации, спорные списания и изменения записи требуют более строгих ограничений. ИИ может собрать сведения и подготовить черновик, но решение в таких случаях остаётся за уполномоченным сотрудником.

Составьте список действий, которые системе разрешено выполнять самостоятельно, и отдельный список запрещённых действий. Например, она может сообщить адрес, уточнить удобное время и передать заявку. Но не должна подтверждать скидку, обещать компенсацию, менять условия обслуживания или давать рекомендацию, требующую профессиональной оценки, если такого полномочия ей не предоставили.

Важно ограничить не только слова, но и доступ. Давайте системе ровно те сведения и функции, которые нужны для её задачи. Если автоматический помощник отвечает на вопросы о расписании, ему не обязательно иметь возможность менять оплату или просматривать все данные клиента. Чем меньше ненужных полномочий, тем меньше последствий у ошибки.

При обработке обращений учитывайте требования 152-ФЗ о персональных данных. Определите, какие сведения действительно нужны для ответа, кто имеет к ним доступ и как они хранятся. Не отправляйте клиентские данные в сторонние инструменты без проверки условий обработки и правовых оснований. Подробнее о возможных сценариях автоматизации можно узнать на странице услуг KM2B, а варианты решений собраны в разделе продуктов.

Как разобрать ошибку и не повторить её

После того как клиент получил корректный ответ и риск остановлен, разберите случай по цепочке: вопрос клиента → найденный источник → правило ответа → сформированный текст → действие системы → проверка сотрудником. Такой разбор помогает отличить ошибку в данных от ошибки в настройке. Например, актуальная цена могла отсутствовать в базе — тогда нужно обновить источник. Или цена была указана, но ИИ выбрал старый документ — значит, нужно устранить конфликт версий. Если источник был правильным, а система всё равно добавила неподтверждённое обещание, усиливают правило и проверяют примеры ответов.

После исправления проверьте не один исходный вопрос, а похожие формулировки. Клиенты могут спросить об одном и том же разными словами: «Сколько стоит?», «Какой будет итог?» или «Цена уже с материалами?». Добавьте тестовые обращения с неполными данными, противоречивыми сведениями и попыткой получить исключение из правил. Убедитесь, что в спорной ситуации система не угадывает, а передаёт запрос человеку.

Что делать после ошибки? Исправить правило или источник, уведомить владельца процесса и проверить похожие диалоги. Если неверный ответ уже отправлялся нескольким клиентам, определите число таких случаев и порядок уведомления. Не удаляйте историю разбора, если она нужна для контроля качества, но ограничьте доступ к перепискам и храните их согласно принятому порядку работы с персональными данными.

Для регулярного контроля назначьте сотрудника, который просматривает примеры ответов и отмечает типовые сбои. Не обязательно вручную читать все обращения: начните с тем, где ошибка может привести к расходам, потере записи или вреду клиенту, и с диалогов, переданных оператору. Ведение списка ошибок помогает увидеть повторяющиеся причины и расставить приоритеты.

Как проверить решение до запуска

Начните с пилота на одном участке: например, ответы о графике и адресе, сбор заявок на обслуживание или поиск информации в утверждённой базе. Не подключайте сразу все каналы и не поручайте системе принимать решения, которые сложно отменить. Сначала проверьте, как она отвечает на обычные вопросы, а затем — как ведёт себя при недостатке информации.

До старта подготовьте небольшой набор контрольных обращений и согласуйте правильные ответы с владельцем процесса. В него стоит включить:

• вопросы с точным ответом в действующем источнике;
• вопросы, на которые в базе сведений нет;
• случаи, когда два документа противоречат друг другу;
• обращения о цене, сроке, возврате или другом решении с последствиями для клиента;
• вопросы, где необходимо получить дополнительную информацию или передать диалог сотруднику.

Оценивайте не только правильность формулировки. Проверяйте, нашла ли система нужный источник, обозначила ли неопределённость, не раскрыла ли лишние сведения и не выполнила ли действие без разрешения. Зафиксируйте, кто проверяет ответы, как быстро исправляются материалы и при каких условиях автоматический режим временно отключают.

Стоимость зависит от того, какие каналы, данные и функции нужно подключить, поэтому её определяют после аудита. Разумно начать с недорогого пилота на узком участке. Ориентир для окупаемости пилота — обычно 2–4 месяца, но фактический срок зависит от объёма обращений, затрат на внедрение и того, какую задачу автоматизируют. Предварительно оценить эффект можно с помощью расчёта окупаемости; оценка не заменяет проверку конкретного процесса.

Какие правила закрепить в памятке

Чтобы сотрудникам не приходилось каждый раз заново решать, что делать с ошибкой, закрепите порядок в короткой внутренней памятке. В ней нужны не общие пожелания «быть внимательнее», а конкретные действия и ответственные:

• какие источники считаются утверждёнными и кто обновляет каждый из них;
• при каких вопросах ИИ обязан передать диалог сотруднику;
• какие действия система может выполнять самостоятельно, а какие запрещены;
• кто проверяет ошибочный ответ и кто связывается с клиентом;
• как фиксируются инциденты и какие похожие диалоги нужно проверить;
• кто может приостановить автоматические ответы, если проблема повторяется.

Памятка должна соответствовать реальной работе бизнеса. Для клиники передача вопросов о симптомах может быть обязательным правилом. Для кондитерской — отдельно описанные условия заказа и подтверждения наличия. Для автосервиса — запрет обещать точный срок ремонта, пока специалист не оценил неисправность и загрузку. Правила полезно пересматривать после изменения услуг, цен, расписания и порядка обслуживания.

Не стремитесь сразу автоматизировать всё общение. Если ИИ корректно отвечает только на часть типовых вопросов, это уже можно проверить на пилоте — при условии, что спорные случаи уходят человеку. Постепенно расширяйте участок, когда проверены источники, порядок передачи и реакция на ошибки.

Главный критерий безопасного ответа — не уверенный тон, а подтверждение актуальным источником и соблюдение границ полномочий. Если подтверждения нет, правильный ответ системы — не догадка, а честное сообщение о том, что нужно уточнить информацию, и передача обращения сотруднику.

Следующий шаг по теме

Базовые материалы и инструменты KM2B для внедрения ИИ в бизнес.

• Услуги KM2B по внедрению ИИ
• Калькулятор экономики ИИ
• ИИ-агенты для бизнеса: что дают и с чего начать
• Автоматизация бизнес-процессов нейросетями: с чего начать