Зачем нужен Data Lakehouse: опыт крупного бизнеса

Почему организации переходят с классической архитектуры управления данными на гибридную? Это дань моде или эффективное решение проблем бизнеса? Для каких задач подходит парадигма Data Lakehouse, обсудили представители крупных компаний на VK Cloud Conf 24. Мы же записали для вас главное.

Павел Денисенко, руководитель управления архитектуры данных в X5 Tech

Строительство Lakehouse — это пункт назначения, в который мы пришли сразу тремя путями.

Компания X5 динамично развивается. Речь не только про ритейл, но цифровые сервисы (например, e-grocery). Для новых бизнес-единиц и продуктов важен уровень независимости и гибкости. У нас уже есть централизованная платформа по работе с данными. Однако новым бизнес-юнитам этой платформы не хватало: не устраивала скорость скейлинга инфраструктуры, набор инструментов.

Вторая предпосылка технологическая. Наше подразделение отличается любознательностью, поэтому мы организовали небольшую RnD команду. Она протестировала компоненты Lakehouse и получила хороший результат. Поэтому сейчас продуктивный Lakehouse находится на стадии внедрения, и мы близки к финишу.

По стратегии компании у нас развивается внутреннее частное облако. Оно уже предоставляет не только облачную инфраструктуру, но и платформенные сервисы. Благодаря этому мы смогли быстро проверить концепцию и развернуть в облаке продуктивную версию системы.

Для каких задач Data Lakehouse используют в СИБУРе и Burger King, расскажем в следующем посте.

#опыт #bigdata
@digitize_IT — мнения и управленческий опыт ИТ-лидеров