У нас было…

Восемь ИИ-экспертов, полтора часа времени, обсуждение кейсов, разбор разновидностей архитектур LLM-моделей и целое море способов заставить чат-ботов перестать галлюцинировать. Не то, чтобы всё это было категорически необходимо, но если уж начал проводить онлайн-дискуссию, то к делу надо подходить серьёзно.

Да, мы все еще говорим о нашем стриме про ИИ, потому что его невозможно забыть. А чтобы уж наверняка запомнить, публикуем хайлайты:

Выяснили, что бенчмарки быстро устаревают, так как разработчики моделей используют их данные для улучшения своих продуктов. Лучше всего сравнивать модели при помощи Chatbot Arena. Сервис выявляет «сильнейший» ИИ на основе слепых тестов (человек выбирает оптимальный ответ из двух, не зная, какая модель его дала).

Правда, есть один подвох: люди склонны позитивно оценивать не только хорошее содержание ответа, но и красивое оформление.

Разобрались, почему ИИ галлюцинирует. Дело в том, что «галлюцинации» это не баг, а свойство вероятностной модели. Это, собственно, их подход к формированию выдачи, способ мышления. Она не врет, а генерирует наиболее вероятный ответ.

Есть параметр, который позволяет это контролировать — температура (определяет, насколько «смело» модель будет фантазировать). При температуре 0 — минимальная вариативность, при 1 — максимум свободы.

Обсудили, как бороться с галлюцинациями. Во-первых, можно подключать внешние базы знаний и использовать RAG. Это трехступенчатый процесс: получить информацию, дополнить ей запрос, и только потом генерировать ответ. Это снижает ошибки и делает ИИ полезным без необходимости дообучения.

Во-вторых, нужно корректно ставить задачу и уметь писать промпты. Иногда может помочь включить поиск и потребовать ссылку на источники.

Отметили, что компаниям, которые хотят начать извлекать выгоду из ИИ, нужно готовиться к R&D-процессу. Перед тем, как найти то, что в итоге даст ROI, придется пройти «кладбище гипотез». Как раз в процессе этого исследования и находятся наиболее эффективные промпты для спектра задач компании.

Поняли, как бизнесу преодолевать ограничения. Помним, что во многих странах персональные данные требуют хранить на территории страны. Соответственно, держать их в облачном сервисе по типу Pinecone нельзя. Корпорации справляются с проблемой путем построением собственной инфраструктуры.

Решением для МСБ становится использование небольших баз данных по типу LanceDB и легких эмбеддингов, которые могут работать локально и при этом не задействовать мощности GPU.

Завершили встречу советом для всех компаний, которые начинают работу с ИИ. Не стоит пытаться «набивать шишки» самому — это будет гораздо дороже, чем привлечь стороннего эксперта. Уже после того, как начало положено, можно начинать формировать внутри собственную ИИ-экспертизу.

P.S. Материалы со встречи — видео, презентацию и дополнительные источники (см. первый коммент) — прикладываем.

#созвонились_обсудили

Облакотека / Оставить «бусты»