Разделяй и властвуй… над данными

Если в компании очередь к DWH-команде длиннее, чем в поликлинике, то Data Mesh придумали для вас. Сегодня рассказываем, в чем суть подхода и как он применяется на практике. Для этого расспросили Александра Зеньковича, руководителя направления DWH/ML в компании «ДАР» (ГК «КОРУС Консалтинг»).

Почему компании переходят на Data Mesh?

Цель — быстрее извлекать пользу из данных: повышать их качество и применять для развития решений, оперативно запускать аналитику. Классический подход монолитного хранилища для манипуляций с информацией скорее мешает выполнить эту задачу. А единая DWH-команда обычно перегружена.

С подходом Data Mesh мы переносим ответственность за работу с данными на бизнес-домены. У таких подразделений, как маркетинг и продажи, например, есть свои источники данных и показатели. Команды сами собирают и структурируют информацию, но используют при этом стандартизированную инфраструктуру и правила для публикации и использования данных.

В итоге новые аналитические сценарии появляются быстрее, а «центральная команда» разгружается. В ряде проектов мы видели сокращение time-to-market аналитики в 1,5-2 раза и более прозрачную ответственность за качество данных.

Как это работает на практике?

Вначале мы декомпозируем бизнес на домены и закрепляем за ними ответственность за работу с собственными данными.

Далее выстраиваем платформенный слой: единый стандарт data-продуктов, каталог данных, базовые сервисы (хранение данных, их обработка и доступы). Так команды разных доменов могут работать по единым стандартам, автономно публиковать и использовать свои данные.

Важно закладывать правильную масштабируемую архитектуру платформы и выделять ИТ-ресурсы и команду под новые запросы. Кроме того, удобно использовать облака: они дают гибкую инфраструктуру и готовые сервисы — управление доступами, например.

Какие подводные камни?

Главный риск в том, что Data Mesh воспринимают как работу с исключительно технологической архитектурой. Но самый сложный шаг — это организационная и управленческая трансформация. Если нет изменений в бизнес-модели и реальных владельцев данных в доменах, то все сводится к «старому DWH на новых технологиях». Эффекта не будет.

Другая ошибка — преждевременная децентрализация. Когда команды получают автономию, но нет стандартов (единые Data Governance и Data Quality), это приводит к фрагментации, росту издержек и конфликтам между бизнес-доменами. Качество работы с данными может снизиться.

На практике важно внедрять Data Mesh поэтапно: сначала платформа и правила, а затем — постепенное распределение ответственности между подразделениями.

Кому подойдет Data Mesh?

Крупным компаниям с большим количеством доменов, команд и источников данных (например, в ритейле, финтехе, телекоме). То есть там, где с данными работают десятки команд и есть распределенная модель управления.

Отдельные элементы Data Mesh можно закладывать и в молодых, небольших компаниях, чтобы избежать проблем масштабирования в будущем.

#созвонились_обсудили