Когда BI и ML работают как единый механизм

В классическом подходе аналитика данных и машинное обучение существуют параллельно, но редко дружат. BI строится на DWH (СУБД), ML — на Data Lake. В VK Data Platform мы объединили их.

Что дает объединение?

Снижение TCO: одно железо, одна платформа, одна команда инженеров данных — вместо двух параллельных вселенных. Расходы на поддержку сокращаются естественным образом.
Ускорение вывода дата-продуктов: отчеты, витрины, ML-модели готовятся быстрее, потому что данные не нужно перекладывать между системами. Модели можно обучать прямо на тех же источниках, на которых строится аналитика.
Быстрый переход из теста в прод: нет замедления при переносе модели.

Какие механизмы контроля качества данных встроены в VK Data Platform?

В VK Data Platform мы уделяем особое внимание тому, чтобы данные были прозрачными и надежными.

Также есть Apache Iceberg. Это ключевой компонент, превращающий обычный Data Lake в управляемый Data Lakehouse. Iceberg хранит расширенные метаданные и снапшоты. Это значит, что можно увидеть все изменения, которые происходили с данными: кто, что, когда поменял. И главное — к любому снапшоту можно откатиться за секунды.

Какие дальнейшие планы по развитию платформы?

Сейчас мы делаем удобный каталог, интегрированный с нашим S3-хранилищем. Также есть планы по внедрению обслуживания таблиц Iceberg сразу в S3-хранилище. Еще хотим интегрировать инструменты управления данными.