Спустя полгода работы в Авито я задалась вопросом...

— у всех же теперь есть свои LLM-ки, которые используются для разных целей внутри, а что там у нас?

Так как, во-первых, появилась задача с разметкой некоторых данных, а я уже знаю, что такое можно поручать LLM-кам. А во-вторых, за месяц пребывания не в России я, признаюсь, немного подсела на разговоры с ChatGPT по разным вопросам (выводы об этом будут отдельно позже), и захотелось попробовать в работе внутренний аналог для внутренних данных.

В общем, оказалось, что свои LLM-ки у нас, конечно же, есть
Как внутренние, так и используемые в продукте. И я даже пропустила три недели назад статью о них на Хабре.

Подробности вы можете прочитать сами, а я оставлю тут основные поинты:
Сейчас юнит LLM — команда из 25 человек
По ряду причин оказался оптимальным вариант адаптации опенсорс модели — взять лучшую опенсорсную модель, сделать для неё собственный токенизатор, подменить токенизатор у опенсорсной модели, а дальше провести SFT и сделать RL
Примеры задач, в которых применяется LLM в Авито: суммаризация чатов поддержки, суммаризация отзывов, группировка товаров одной модели в мультиобъявление, автоответы в мессенджере за продавца и многое другое

На Хабре, как обычно, очень добры к бигтехам, но штош

Напишите, интересна ли вам тема LLM в продуктах и жизни, что вообще думаете, сталкивались ли?

#жизнь_в_бигтехах #аналитика_и_жизнь
@analytess