База знаний для AI-ассистента: подготовка документов и проверка ответов

Чтобы AI-ассистент отвечал по документам компании, сначала нужно определить, какие сведения верны, кому они доступны и кто их обновляет. Загрузка папки не решает противоречий между прайсами и не делает устаревшую инструкцию актуальной. Начните с одного процесса: например, ответы сотрудникам по внутреннему регламенту или консультация клиентов по согласованным условиям. Для каждого ответа должна оставаться возможность проверить источник и передать вопрос человеку.

1. Выберите задачу и границы пилота

Запишите, кто задаёт вопросы, какие решения принимает и чего ассистент делать не должен. Внутренний помощник и клиентский бот работают с разными материалами и правами. Для первого запуска полезно ограничить круг тем и назначить владельца ответов. Если нет утверждённого правила возврата или доставки, модель не должна заменять решение бизнеса правдоподобной формулировкой. Сначала согласуйте правило или маршрут к ответственному сотруднику.

2. Соберите реестр, а не общую папку

Удалите дубли, обозначьте архив и разберите конфликтующие формулировки. Проверьте, что сканы читаются, таблицы сохраняют смысл, а заголовки объясняют, к чему относится правило. Не включайте пароли и секретные ключи. Личные и конфиденциальные сведения требуют отдельного решения по доступам и обращению с данными; они не должны попадать в пилот случайно, вместе с остальной папкой.

3. Разделите документы и текущие данные

Регламент подходит для поиска по документам. Остаток товара, статус заказа и персональная цена могут измениться после загрузки файла. Для таких ответов обсудите чтение из рабочей системы и проверку пользователя в момент обращения. Если это не входит в пилот, ограничьте ответ и направьте к менеджеру. Подготовка базы не заменяет интеграцию с CRM, а наличие интеграции не делает любые данные доступными каждому.

Поиск с дополнением контекста, или RAG, находит подходящие фрагменты и передаёт их модели вместе с вопросом. Качество поиска влияет на доступный ответу контекст; название метода само по себе не подтверждает правильность ответа. Объяснение механизма: https://www.anthropic.com/research/contextual-retrieval .

4. Зафиксируйте отказ и передачу человеку

Нужны отдельные ответы для отсутствующего источника, противоречия документов и вопроса за пределами темы. Ссылка должна вести к использованному документу, а не к любой похожей странице. Пользователь должен понимать, что неизвестно и куда обратиться дальше. Если ассистент создаёт заявку, согласуйте состав передаваемых данных и подтверждение сохранения. Отказ полезен только тогда, когда после него остаётся понятный способ решить задачу.

Внешний документ может содержать инструкции, пытающиеся изменить поведение модели. OWASP отмечает, что RAG не устраняет prompt injection. Материалы базы нужно обрабатывать как данные, а действия и права ограничивать отдельными проверками. Источник: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ .

5. Подготовьте набор проверочных вопросов

1. Вопрос с прямым ответом в действующем документе.
2. Тот же вопрос другими словами и с опечаткой.
3. Вопрос на другом согласованном языке.
4. Условие, которое изменилось в новой версии документа.
5. Вопрос, ответа на который в базе нет.
6. Два документа с противоречащими условиями.
7. Запрос сведений, закрытых для этой роли.
8. Просьба выполнить действие за пределами полномочий.

Для каждого случая заранее запишите ожидаемый результат, допустимый источник и правило передачи. Это предложенный набор приёмки, а не обещание достаточности восьми вопросов для любого проекта. Дополняйте его реальными формулировками пользователей с разрешённым использованием данных. Проверяйте отдельно правильность ответа, уместность ссылки, права доступа и следующий шаг; один общий процент может скрыть опасную ошибку.

NIST рассматривает достоверность, информационную безопасность и оценку рисков генеративного AI как отдельные задачи управления. Это основание для проверки ограничений пилота, а не сертификат его качества: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf .

6. Назначьте обновление и оценку пользы

После изменения прайса или инструкции обновите не только исходный документ, но и доступную ассистенту версию, затем повторите связанные тесты. Зафиксируйте, кто разбирает спорные ответы и когда меняются ограничения. Пользу проверяйте по выбранному процессу: завершённым обращениям, ручной обработке и качеству ответов. Больше диалогов не обязательно означает меньше работы у команды. Стоимость эксплуатации включает сервисы, хранение, запросы к модели и регулярную проверку базы.

Подготовить такой пилот можно через https://samsa.agency/services/ai-automation . Для клиентского сценария в Telegram есть https://samsa.agency/solutions/telegram-bot . Начните с одной задачи, нескольких согласованных документов и списка проверочных вопросов — это поможет определить реальный объём разработки.