Чтобы сделать AI-ассистента для рабочей задачи, выберите один повторяемый запрос, определите, откуда он может брать сведения, и заранее опишите случаи, когда он должен уточнить вопрос или передать его человеку. Затем соберите небольшой набор реальных примеров и проверьте ответы по понятным критериям. Начинать с обещания «бот ответит на всё» опасно: без границ он уверенно сформулирует и то, чего в ваших материалах нет.
Сначала назовите задачу, а не технологию
Фраза «нужен умный помощник» не помогает решить, какие ответы считать верными. Более проверяемый сценарий: ассистент помогает оператору найти в утверждённой инструкции порядок возврата товара, показывает соответствующий пункт и предлагает черновик ответа. Здесь известны пользователь, вопрос, источник и предел: ассистент не меняет условия возврата и не обещает исключений. Другой сценарий — первичная сортировка внутренних обращений по теме. Его нужно оценивать отдельно, потому что критерии ошибки и доступ к данным другие.
Составьте карточку задачи: кто обращается, какую информацию предоставляет, что хочет получить, какие сведения ассистенту разрешены, какие действия запрещены и кто отвечает за итог. Различайте поиск информации и принятие решения. Найти пункт правил может автоматизированный инструмент; применить его к спорной ситуации без проверки сотрудника — уже иной уровень ответственности. Чем уже первая версия, тем проще заметить ошибку до того, как её увидит клиент.
Учебный пример: помощник по правилам мастерской
Представим вымышленную мастерскую с документом об условиях записи, переносе встречи и выдаче готового заказа. Её помощник отвечает только по актуальной редакции этого документа. Клиент спрашивает: «Можно перенести запись на пятницу?» Если документ содержит порядок переноса, ассистент кратко объясняет его и указывает источник; если не знает свободное время, честно пишет, что доступность подтвердит администратор. Он не придумывает слот и не обещает скидку ради вежливого ответа.
Для прототипа подготовьте несколько обезличенных обращений: прямой вопрос по документу, неполный вопрос без даты, вопрос за пределами правил и попытку заставить бота игнорировать инструкцию. Ожидаемые ответы запишите до теста. Если ассистент на неполный вопрос даёт уверенное «да», исправляйте не только текст инструкции: возможно, в сценарии не определено обязательное уточнение. Если он ссылается на старую редакцию правил, проблема может быть в обновлении источника, а не в формулировке запроса.
Как собрать и проверить первую версию
- Ограничьте сценарий. Запишите один тип обращений и желаемый формат ответа. Отдельно перечислите вопросы, на которые ассистент не отвечает. Это не недостаток, а часть полезного поведения.
- Подготовьте материалы. Уберите устаревшие версии, противоречия и персональные данные, которые нельзя передавать сервису. Для каждого фрагмента укажите владельца и дату пересмотра. Если источник неопределён, бот не исправит это своей «уверенностью».
- Опишите правила диалога. Задайте роль, допустимые источники, короткий формат, способ указания основания и реакцию на отсутствие ответа. Проверяйте правило на вопросах, которые действительно задают люди, а не только на идеальных примерах.
- Соберите тестовый набор. Добавьте точные, расплывчатые, противоречивые и недопустимые запросы. Для каждого укажите ожидаемое действие: ответ, уточнение, отказ или перевод на сотрудника.
- Проведите ручную проверку. Смотрите не только на приятный стиль, но и на факты, источник, утечки, лишние обещания. Запишите ошибки и повторите тест после исправления. Не выпускайте ассистента лишь потому, что несколько демонстрационных ответов звучат убедительно.
Что делать после запуска
Назначьте человека, который обновляет базу знаний и разбирает спорные ответы. Сохраните путь для сообщения об ошибке и возможность остановить автоматическую выдачу, если изменились правила или обнаружена утечка. Полезно отдельно отмечать обращения, где бот запросил уточнение: их может быть много не из-за «слабой модели», а потому что сама форма вопроса не собирает нужные сведения. Изменение формы иногда полезнее замены модели.
Подход не подходит для автономных решений о здоровье, праве, деньгах и других чувствительных вопросах без профильной проверки. Не загружайте клиентские данные в инструмент, пока не понятны правила их хранения и обработки. Если ваша задача не отвечать на вопросы, а выстроить процесс публикации материалов, посмотрите, как организовать системную работу с контентом: там критерии и точка контроля будут другими.
Частые вопросы
Нужно ли программировать, чтобы проверить идею ассистента?
Для первой проверки сценария достаточно карты вопросов, разрешённых источников и ручного прототипа диалога. Код и интеграции понадобятся, когда понятно, какие действия действительно стоит автоматизировать.
Как понять, что ответ полезен?
Сравнивайте его с заранее записанным ожидаемым действием: факт верен, основание доступно, лишних обещаний нет, пользователь понимает следующий шаг. Красивый тон не компенсирует неверный факт.
Можно ли просто написать «не выдумывай»?
Это полезная инструкция, но не механизм проверки. Нужны ограниченные источники, тестовые случаи, право отказа и просмотр спорных ответов человеком.
Практикум по разработке AI-ассистентов помогает собрать и испытать такой прототип с инструкцией, базой знаний и тестами. Для первой самостоятельной пробы выберите один безопасный сценарий и запишите, где ассистент обязан остановиться.
