Вертикальное масштабирование больше не работает: что делать?

Растет бизнес — растут данные: значит, надо расширять ИТ-инфраструктуру. Но что если вертикальное масштабирование уже не дает прироста производительности, а стоимость оборудования — запредельная?

Как технология шардирования помогает работать со сверхбольшими объемами данных, рассказывает Михаил Сумской, старший технический менеджер продукта Postgres Professional.

Что такое шардирование?

В этой технологии данные делятся на шарды — отказоустойчивые группы серверов. Так нагрузка равномерно распределяется по всей системе. Этот подход лежит в основе Postgres Pro Shardman — распределенной СУБД, разработанной для работы со сверхбольшими объёмами данных. Решение протестировано на объёмах до 2 ПБ.

СУБД позволяет горизонтально масштабировать систему, сохраняет при этом строгую согласованность данных и обеспечивает привычный интерфейс для приложений. Для разработчика это выглядит как работа с одной БД, хотя под капотом данные могут быть распределены на сотнях узлов.

Когда пора внедрять шардирование?

Когда исчерпаны ресурсы вертикального масштабирования. Также это необходимо, когда БД перестает справляться с нагрузкой из-за большого объема данных, высокого числа соединений или интенсивных фоновых операций.

Как обеспечивается отказоустойчивость и целостность данных?

Архитектура распределенной СУБД не имеет единой точки отказа, так как в ней нет централизованных компонентов, а любой узел может служить точкой входа.

Целостность данных гарантируется за счет поддержки распределенных транзакций ACID и собственного механизма согласования. Это исключает риски потери или рассогласованности информации между узлами кластера.

Кому подойдет технология?

Решение ориентировано на высоконагруженные enterprise-системы, требующие строгой согласованности данных и отказоустойчивости под OLTP-нагрузками.

Подойдет для государственных информационных систем, финтеха, крупных e-commerce платформ и других проектов, где объем данных исчисляется терабайтами и продолжает расти.

Какие примеры внедрения на рынке?

Например, наш проект с Федеральным казначейством. Команде нужно было перенести в новую СУБД базу данных информационной системы объемом 240 ТБ. При этом система должна была продолжать работать в штатном режиме без простоев.

В процессе работы удалось не только успешно перенести все данные, но и оптимизировать базу — её объём уменьшился на 50 ТБ.

#СУБД