Как я провел гениальное расследование на работе

Из-за него я работал 11 часов, а на утро проснулся в 5:00 с головной болью ??

Началось с того, что при подготовке новой ИИ-модели поиска в RUTUBE мы обнаружили, что она работает по-разному у нас и на тестовом сервере RUTUBE.

Например: у нас модель ставила видео на 5-й позиции в ответе, а в RUTUBE — на 1-й.

Загадка усложнялась тем, что прошлые версии модели работали корректно, а код с тех пор не менялся.

Прикиньте масштаб ошибки, если бы мы выпустили новую модель в основной RUTUBE.

У нас на тестах она показывает хорошие метрики, а в RUTUBE у миллионов пользователей работала бы плохо. По факту мы бы сломали поиск.

И самое страшное — мы бы об этом не знали!

Я начал искать причины проблемы.

Все мои первоначальные гипотезы не сработали:
— версии процессоров не влияли
— данные на вход приходят одни и те же
— параметры обучения и обучающий датасет никак не влияли.

При этом постоянно было ощущение, что решение где-то близко. В этом состоянии мозг беспрерывно генерирует новые гипотезы. Это и держит в тонусе, и изматывает.

В итоге к вечеру я нашел, в чем ошибка.

Open-source фреймворк, который используется в нашем поиске, не очень правильно работал с моделькой.

Исправление заняло 2 строчки кода))))

Давно я не получал такую огромную порцию дофамина, но и энергии ушло много. Голова кипела невероятно!

P.s. Я не уверен, что смогу увлекательно описать технические детали, но мне самому было безумно интересно разобраться, как все устроено.

Если вам хочется почитать технический анализ, ставьте ??. Наберем 40 — сделаю разбор