Можно ли научить чат‑бота всегда говорить правду

Привет, меня зовут Ксения Плесовских и я развиваю генеративный ИИ в компании Lad, разрабатывая чат-боты для бизнеса на основе LLM. В процессе работы над точностью ответов чат-бота, проверкой фактов и устранением галлюцинаций от LLM, мне довелось проанализировать и опробовать разные подходы к этой проблеме, чем и хочу с вами поделиться. Поскольку объем материала получился достаточно большой, на несколько публикаций, в этой части расскажу лишь о подходе самокритики.

О том, что такое RAG (Retrieval Augmented Generation) и как он работает, написано уже немало статей, поэтому лишь кратко напомню, что это — механизм, который позволяет языковой модели получать информацию о тех знаниях, которые не были вложены в нее на этапе обучения, и благодаря ему мы имеем возможность без дообучения модели использовать ее в сочетании с собственной базой знаний.

Хотя RAG-боты интуитивно понятны, они сталкиваются с определенными практическими проблемами. Например, мы просим модель сообщить о том, кто в нашей компании отвечает за выдачу справок в бухгалтерии, в базе знаний этой информации нет, но модель поиска все равно пытается нам ее предоставить, называя имя и контактные данные несуществующего сотрудника. Сгенерированный ответ будет ошибочным и неинформативным, особенно для неанглоязычных запросов, в которые гораздо чаще попадает контент, изначально не участвовавший в их обучении. Кроме того, при большом объеме запросов для платных LLM, например, ChatGPT, стоимость использования может привести к значительным затратам.

Для обеспечения длительного диалога с RAG необходимо сохранять историю общения и передавать ее в LLM при каждом запросе, но это может привести к падению точности или галлюцинациям, поскольку у LLM возникает дополнительная задача по выбору актуальной информации из большого контекста.

Источник: Хабр