Дождливые выходные, бутылочка красного сухого, неугомонные руки, а также не уходящие из памяти вдохновляющие отзывы после пятничного демо… И вот вместо ожидаемого одного, я сегодня зарелизил в open source сразу два проекта. Собственно вашему вниманию представляются:

metadv — Python-пакет, который по предоставленной YML-спецификации:
• разбирает описанные сущности по заданным правилам
• предоставляет базовый класс валидации, от которого можно наследоваться и добавлять свои проверки
• генерирует dbt-модели для организации Data Vault 2.0 (hub, links, sat и ma_sat) в формате популярных макросов из пакетов Datavault-UK/automate_dv и ScalefreeCOM/datavault4dbt (по выбору пользователя, можно даже расширить своим Jinja-шаблоном)
• запускается как из командной строки так и путем импорта в ваш Python-код

dbt-ui — веб-приложение для совместной работы дата аналитиков в dbt-core проектах:
• frontend и backend
• базовая поддержка git
• редактор моделей с подсветкой синтаксиса SQL+Jinja
• табличный просмотр seed-файлов
• просмотр скомпилированного кода моделей
• запрос семпла записей моделей из БД
• lineage на уровне моделей
• компилирование/запуск и тест как отдельных моделей так и всего проекта
• ну и last but not least, поддержка визуального drag&drop моделирование entity, relations & attributes с последующей генерацией объектов Data Vault 2.0 прямо в веб-интерфейсе, используя пакет metadv

Как всегда буду рад конструктивной критике, GitHub звездочкам, новым issue, и discussions по обоим проектам

Спасибо за внимание и хорошей всем новой недели💙

#dbt #dbtcore #dbtui #metadv #opensource @alexseconds