avatar
(sci)Berloga Всех Наук и Технологий
@sberlogabig
18.08.2024 17:39
Это грустно, но лишь 1 из 3 ML моделей доходит до продакшена. А приносят стат значимо метрик в АВ еще меньше моделей

Какие-то модели решают не те бизнес задачи (дают вероятность оттока, а не кому/когда/какой промокод дать), другие - оптимизируют не те метрики (заказы, а не прибыль), третьи - не интерпретируемы и поэтотому никогда не попадут в прод (диагностика заболеваний)

В общем, путь от ML модели до реальной пользы компании крайне тернист. Почитать про классические и необычные ошибки на таком пути можно почитать на канале @ml4value

Например, про то, как оптимизация метрик поиска роняет деньги
Telegram
ML for Value / Ваня Максимов
Как растить деньги и ронять продуктовые метрики 😐 Не первый раз сталкиваюсь с тем, что метрики денег и метрики продукта смотрят в разные стороны Представьте, что вы улучшаете Поиск. У него есть продуктовая метрика «поисковой релевантности» - насколько найденный товар соответствует поисковому запросу. Ее можно посчитать через асессоров (и еще парой способов) С точки зрения поисковой релевантности на запрос «Книга Гарри Поттер» очевидно нужно выдавать книги о Гарри Поттере. И чем точнее мы их находим, тем больше денег зарабатываем. Или нет? 💣 Представьте, что топ-4 результата поиска - и правда книги о Гарри. А потом частенько попадаются игрушки/диски/постеры из вселенной Поттера. И люди из запроса про книгу покупают детские игрушки! Деньги растут, а поисковая релевантность нервно курит в сторонке 🥲 Похожий кейс, когда с ~10 позиции появляются книги других серий, которые похожи на Поттериану Следующим постом напишу, как я считаю, нужно решать такие кейсы. А что думаете вы? Пишите в комменты ⬇️ #metrics
👍 4
🔥 2
13 3.3K

Обсуждение 0

Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.

Обсудить в Telegram