Про автоматизацию первого контакта с помощью AI

С развитием AI одним из направлений, куда его буквально пихают чуть ли не все, стала автоматизация первичной коммуникации. Наиболее частые сценарии - холодный аутрич (B2B и B2C), саппорт, продажи и HR. И основная проблема здесь в том, что большинство таких интеграций работают не так, как надо.

Я уже как-то писал про кейс Klarna, когда они автоматизировали саппорт, поспешив уволить людей, за что в результате поплатились, так как агент не умел правильно эскалировать запросы. А сегодня в интернете завирусилась история с парнем из Stripe, который сделал prompt injection в своем профиле, чтобы, если ему пишет AI-рекрутер, в конце ему присылался рецепт пирога :D В результате чуть ли не во всех сообщениях от HR он получал этот рецепт.

Почему так выходит?
Основных причин несколько. Во-первых, в большинстве случаев интеграция осуществляется слишком прямолинейно: берется LLM по API, в нее втыкается какой-то системный промпт и правила. Чаще всего такое собирают в условном n8n и запускают в продакшн. Однако хорошая система коммуникации с помощью AI обычно гораздо сложнее. Зачастую здесь можно встретить память или базы данных в том или ином виде, к которым бот будет обращаться, а также наборы инструментов и правила их использования. Помимо этого, нужно базово защищаться от инъекций как на уровне промпта, так и на уровне кода.

Можно возразить в стиле: “Klarna же не дураки, они об этом знают, ведь их партнёр OpenAI”. Однако здесь на сцену выходит второй фактор: сами ограничения и возможности LLM. На момент эксперимента той же Klarna модели OpenAI были не настолько хороши в использовании инструментов: отсюда и растут ноги у проблем с эскалацией. С другой стороны, LLM не всегда может правильно определить приоритеты, потому что не обладает должным контекстом. И здесь речь идет уже о контекстном инжиниринге. Суть в том, что для правильного контекстного инжиниринга недостаточно быть хорошим специалистом по LLM: нужно понимать задачу на уровне того эксперта, чью работу ты пытаешься автоматизировать.

Хочешь автоматизировать саппорт? Привлекай специалиста службы поддержки. Нужен HR-аутрич? Пусть HR-специалист создаст систему правил того, на что он обращает внимание при скрининге. Да, все кричат, что у LLM знания уже выше среднего, но у неё нет профессионального контекста нужного специалиста.

А как сделать нормально?
Здесь я бы предложил сделать шаг назад и задать себе вопрос: так ли велик профит от полной автоматизации? Даже в хорошо собранном решении часто можно сравнительно несложно распознать AI, если ты регулярно его используешь. А когда человеку пишет ИИ, то и конверсия ниже.

Если же выгода все-таки ощутима, я бы рекомендовал делать POC доступными инструментами типа n8n и, если есть положительная динамика, привлекать реальных специалистов по AI: вам напишут правильные инструменты, продумают более устойчивую архитектуру, добавят резервные сценарии (fallback), где это необходимо. Другой важный принцип: дополнять, а не заменять. В текущей формации и на горизонте ближайших пары лет AI будет нужен “наставник” для того, чтобы стать более полезным. Поэтому важно привлекать профильных специалистов к разработке решений.