Что общего между мониторингом активностей зрителей в Netflix и системой наблюдения за промплощадками в Северстали? Они обе построены на платформе Apache Kafka. 

Эта проверенная система позволяет компаниям без сбоев обрабатывать огромные потоки данных. Если вам нужна аналитика событий в реальном времени, то без Apache Kafka, скорее всего, не обойтись. Рассказываем, как она работает и как помогает компаниям. 

Как устроена платформа

Apache Kafka — опенсорс-платформа потоковой передачи данных в реальном времени. Через нее приложения могут обмениваться информацией о событиях, хранить сведения и обрабатывать их. 

События — любые действия в цифровой системе: платёж пользователя, смена статуса доставки, изменение состояния оборудования, зафиксированное датчиком, и так далее. На Apache Kafka создают системы, которые обрабатывают триллионы событий в день.

Платформа устроена как распределённая группа серверов. Данные о событиях внутри разбиваются на тематические каналы, и каждый делится на несколько частей. Сообщения автоматически распределяются между этими частями, и несколько сервисов могут одновременно их обрабатывать, не мешая друг другу. При этом копии данных хранятся на разных серверах, поэтому при сбое одного из них информация не теряется, а система продолжает работать.

Это позволяет распределять нагрузку между разными машинами и наращивать мощность системы по мере роста объёма данных.

Как бизнес может использовать

Apache Kafka позволяет перейти к аналитике и управлению в реальном времени. 

К примеру, пользователь делает заказ в интернет-магазине. Системе не нужно вызывать склад, логистику, CRM и аналитику. Она просто публикует событие «заказ создан». Остальные системы сами подписываются на этот поток и реагируют. 

Это делает возможной аналитику в реальном времени. Данные поступают в обработку сразу после того, как происходит событие, — не нужно ждать выгрузок данных в хранилище.

Ещё одно преимущество — Kafka может стать основой для автоматизации и ИИ. Потоки событий могут сразу направить данные в ML-модели. Благодаря этому можно развернуть множество умных систем, например динамическое ценообразование, персонализацию рекомендаций или прогнозирование спроса.

Как работает Apache Kafka в Yandex Cloud

У Yandex Cloud есть Yandex Managed Service for Apache Kafka. Это облачный сервис, который предоставляет готовый к использованию кластер Apache Kafka без необходимости возиться с серверами. 

Он подойдёт для компаний, которым нужна потоковая обработка данных в реальном времени. Например, для интеграции микросервисов, онлайн-аналитики, антифрода, логирования или передачи событий в ИИ-модели.

Кто использует

ФНЦ им. И. В. Мичурина и биофак МГУ развернули через Yandex Managed Service for Apache Kafka систему сбора данных с «полей». Система собирает и анализирует в реальном времени данные о погоде, состоянии почвы и растений. Это позволяет оперативно принимать решения, например по изменению модели полива или корректировке агротехнологии.

EdTech-платформа MAXIMUM Education связала с помощью Kafka свои CRM, учебную платформу и биллинговую систему. Все ключевые события — записи учеников, оплата, изменение статусов занятий — сразу передаются через Kafka и становятся доступны другим системам. Потоковая шина обрабатывает около 100 ТБ сырых данных. Это позволяет синхронизировать процессы в реальном времени и упростить масштабирование экосистемы при росте числа студентов. 

А медиагруппа «Виасат» с помощью Kafka собирает данные о действиях пользователей на стриминге viju. Система передаёт сведения о просмотрах, кликах, действиях в интерфейсе в аналитическую систему на базе ClickHouse. Благодаря миграции на Kafka посещаемость стриминга выросла на 87%, трафик событий и логов — на 150% в год, а объём раздаваемого видео — в полтора раза.

Подписывайтесь 👉 @yab2btech