Ускорили расчёт кандидатов для рекомендательной системы с 30 часов до нескольких минут

Наша рекомендательная система не просто находит подходящие товары среди сотен миллионов кандидатов. Она учитывает наличие, историю просмотров, разнообразие рекомендаций… Множество условий.

Раньше мы использовали двухэтапный подход: 1) ANN-поиск находил ближайших кандидатов; 2) отдельные Spark-задачи применяли к ним фильтры и бизнес-логику.

В статье рассказываем, почему решили отказаться от этой схемы и перенесли поиск и фильтрацию на GPU.

Если вкратце: иногда задача становится проще, а результат эффективнее, если не придумывать сложный способ сократить работу, а позволить современному железу сделать всю работу целиком.

Мы позволили, и в итоге:
расчёт рекомендаций для самых активных пользователей сократился с десятков часов до нескольких минут;
удалось освободить несколько десятков машин Spark;
рекомендации стали быстрее учитывать изменения в поведении пользователей;
в A/B-тестах выросли продуктовые метрики рекомендаций.

Как реализовали подход на GPU, какие оптимизации позволили сделать полный перебор практически применимым, во что превратилась архитектура системы и какие результаты получили в экспериментах — всё это тоже есть в статье.

#ozontech_habr #ML #bigdata

Осталось 4 дня, чтобы принять участие в ML-соревновании E-CUP.

Вы ещё успеваете выбрать трек и предложить лучшее решение:
модель для идентификации дублей товаров,
классификатор для проверки соответствия требованиям,
предсказатель поведения пользователя на площадке.

Регистрируйтесь на e-cup-ozon.ru, и пусть вас настигнут гениальные идеи. Удачи!

#ecup #ecup_students

Проанализровали рутину релизного процесса, нашли моменты, в которых теряем время, и оптимизировали их. Еженедельное релизное тестирование ускорилось на 45%.

Привет, это Богдан Бурков, старший инженер по тестированию в мобильном приложении Ozon Seller.

У нас в направлении есть роль Release-owner (RO). Это QA-специалист, назначаемый каждую неделю из разных команд. Он отвечает за контроль проведения релизного тестирования.

У RO четыре основных обязанности: подготовка к регрессу и смоуку, контроль прохождения кейсов, отслеживание проверки автотестов дежурными и сбор метрик производительности. Все они стали целью нашей автоматизации.

Что у нас получилось:
сняли 20 минут с подготовки — написали Python-скрипты в CI/CD, которые сами фильтруют тесты по тегам, создают прогоны для регресса/смоука и отправляют ссылки в чат;
ещё минус 25 минут на ожидание результатов прогона автотестов — запараллелили процессы + тесты автоматически тегают нужных людей, а при перезапуске перепрогоняются только упавшие;
сбор метрик ускорили на 35 минут — написали специальные автотесты, которые собирают данные на stage- и prod-контурах.

В итоге RO вместо рутинных задач теперь координирует процесс и помогает команде быстрее проходить ручные тесты.

Подробнее обо всех изменениях читайте в моей Хабрастатье

#ozontech_habr #QA

Год назад я стал руководителем команды в @ozon_tech. Проект получил большую порцию новых контекстов. Ему нужны были фичи, а мне — люди. Поэтому я одновременно писал код, прорабатывал новую архитектуру и проводил собеседования. Пять-шесть интервью в неделю, и это не считая ревью и синков.

А потом найм закончился. И начались требования, планы, роадмапы, встречи, встречи, встречи. До кода руки не доходили месяцами.

Недавно появилась неделя без единого созвона. Я решил: всё, беру задачу сам. Я знал, что смогу сделать её за три дня. Задача была несложной — как раз то, что нужно, чтобы вспомнить, как это: сидеть и писать код.

Открыл проект и через десять минут понял, что хочу всё переписать. «Вот тут я бы сделал по-другому. Там бы оптимизировал. Сюда бы другой паттерн». Задачу я, конечно, сделал. Но первые полтора дня ушли на то, что я гордо называл «рефакторингом».

А потом пришёл к команде с умным видом:

— Смотрите, вот тут же можно было сделать вот так. И вот тут. И вообще, у нас в кодовой базе такое…

А мне в ответ:

— Да мы на такие куски постоянно натыкаемся. Глядим, кто автор — а там везде ты.

Так что если вам кажется, что вы написали лучший код в своей жизни, — просто подождите пару недель. Или не открывайте проект, пока не смените должность.

Давным-давно в галактике Ozon Tech мы провели ежегодный конкурс Capture The Flag

Делимся с вами задачами, которые подготовили наши ИБ-инженеры.

Один бот, пять задач и 10 призов — наборы мерча для комфортных путешествий в пределах Млечного Пути

Заходите в бота
Дешифруйте задания (это можно делать в любом порядке и в любое время)
Участвуйте в розыгрыше (а это, когда решите минимум 4 из 5 задач)

Ждём ваши флаги до 6 сентября. В первый школьный понедельник, 7 сентября, объявим отличников: здесь, в комментариях к посту.

Удачи!

#ozontech_розыгрыш #cybersec

Список дел студента на лето:
зарегистрироваться на e-cup-ozon.ru (до 30 августа)
подключиться ко встрече с экспертами (сегодня)
выдать лучшее решение (до 30 августа)

А потом услышать название своей команды с главной сцены E-CODE, разделить призовой фонд
в 7 200 000 ₽, получить аплодисменты ведущих экспертов индустрии…
Впрочем, это уже дела сентябрьские

#ecup #ecup26

Лезем на стену от большо-о-ого желания попасть на

В прямом смысле: представляем нашу коллаборацию с Big Wall Лужники.

Выбирайте свой путь к большой дате: от 16-метровой башни до 300 квадратных метров боулдеринга.

Где: ул. Лужники, д. 24, стр. 46
Когда: 17–23 августа с 10:00 до 23:00
Что ещё: чилл-зоны, мастер-классы и горы хорошего настроения.

Активности бесплатны, но по предварительной регистрации.

А для самых активных конкурс: выкладывайте фото и видео своего подъёма в комментарии к посту и участвуйте в розыгрыше
3 билетов на E-CODE. Итоги подведём рандомайзером 24.08 в 12:00 в комментариях к посту.

До встречи на вершине

#ecode #ecode2026

Причина приехать в Казань №410: проверить, есть ли козы в Козьей слободе, и узнать, делают ли здесь лучшую картошку фри в мире

Это первый выпуск нашей рубрики «Города», в котором мы спросили коллег из казанского офиса Ozon Tech о любимых местах и собрали рекомендации тех, кто знает город без путеводителя. Делитесь своими находками в комментариях: в конце соберём города и локации на одной большой карте.

Чёрное озеро
Главный фаворит этой подборки — его посоветовали сразу несколько человек. Сценарий от коллег: взять еду навынос в «Соли» или Brooklyn Pizza и устроить пикник у воды.

Лядской сад
Небольшой, зелёный и отлично подходит для неспешной прогулки по центру. А за кофе можно зайти в Surf Coffee или Skuratov неподалёку.

Парк «Елмай»
Хороший вариант для прогулки с детьми. Особенно советуют приходить ближе к вечеру, когда становится прохладнее и можно застать закат.

Голубые озёра
После реконструкции здесь появилась благоустроенная пешая тропа между озёрами. Можно выбраться из города и несколько часов гулять среди леса и воды.

Горкинско-Ометьевский лес
Место на стыке городского парка и настоящего леса: можно долго гулять, кататься на велосипеде или наблюдать за местными белками — их здесь много.

Для долгих прогулок
Ещё несколько маршрутов от команды: парк Урицкого и Волжская тропа — особенно на велосипеде.

Когда пора поесть
В списке рекомендаций — «Туган Авылым», «Чинаякъ» и «Горыныч» в Арт-Сити.

Бонусная рекомендация
Одна из наших коллег готова поручиться: самую вкусную картошку фри в мире делают в «Авангарде» на Ямашева. Проверять это утверждение придётся самостоятельно

#ozontech_города

Эта дата такая Большая, что не поместилась на билборде.
А всё из-за программы: она тоже не маленькая. Основная её часть уже на ecode.ozon.tech

12 и 13 сентября вас ждут 8 треков и 50+ докладов в них.

Бэкэнд, информационная безопасность, Робозона, Жизнь и наука — оба дня. Выберем архитектурную базу под ML, ускоримся за счёт SIMD, поработаем с бигдатой в Postgres, разберёмся в бинарных артефактах за счёт eBPF. Проверим всё это на надёжность и не только, доверимся агентам (или нет), спроектируем роботов и подискутируем на тему космоса и суперкомпьютеров.

12 сентября также встретимся на треке ML&DS, где узнаем ещё больше возможностей агентов. И мобильной разработки — здесь обсудим кроссплатформенность, удалённое управление Android-устройствами, асинхронную инициализацию библиотек.

А 13 сентября опустимся на уровень инфраструктуры и понаблюдаем, как изменилось тестирование в эпоху AI-агентов.

Будет снова ооочень много качественного контента.

До встречи на

#ecode2026

Строгий protobuf-контракт в gRPC обеспечивает типизацию, защищает от сбоев в интеграциях и... Может ограничивать. Например, когда транзитный сервис приходится обновлять ради изменений, нужных только конечному пользователю.

Привет, это Владислав Свиридов из команды product-facade. В хабрастатье я разобрал три механизма protobuf, которые помогают гибко обходить ограничения без отказа от контрактов. Это:

Unknown Fields — сервис не знает часть полей, но может сохранить и передать их дальше;
google.protobuf.Any — сервис может передавать сообщения разных типов через один контракт;
dynamicpb — сервис работает с protobuf-сообщением, имея только его runtime-дескриптор.

Если в вашей микросервисной архитектуре скорость эволюции схем опережает скорость перевыпуска сервисов, рекомендую познакомиться с этими способами прямо сейчас

#ozontech_habr #go

Море зовёт, волна поёт, а мы такие разрабатываем AI-ассистента для подбора товаров

Команда Ozon Tech в рамках научно-технологической проектной программы «Большие вызовы» в Сириусе предложила ученикам 10-х классов поучаствовать в ML-проекте.

Вместе с нашими экспертами ребята работали над моделью, которая поддерживает нетривиальные пользовательские сценарии и ведёт человека от запроса до покупки в одном окне.

За 24 дня ребята подготовили инфраструктуру и подключили Product Search API. Сделали основной цикл диалога и научились хранить контекст разговора. Продумали взаимодействие между LLM, бэкэндом и остальными сервисами. Сгенерировали диалоги, проверили их качество, настроили ранжирование с учётом контекста. И для надёжности добавили guardrails и fallback-сценарии.

В результате у ребят получился поиск, который понимает по-человечески

#ozontech_образование