Копаемся в метасторе

Вы когда-нибудь заглядывали, что на самом деле хранится в базенке хайв метастора? Там создаются системные таблицы с инфой по базам, таблицам, путям, колонкам и еще много всего

Из наиболее полезных таблиц я для себя выделила:

COLUMNS_v2 - о колонках
CTLGS - о каталогах
DBS - о схемах
ROLES - о ролях
SDS (Storage Descriptors) - о путях к таблицам
TABLE_PARAMS - о свойствах таблиц
TBLS - о таблицах

И на основе этого мы можем вывести сводную инфу по всем схемам, таблицам, полям:

SELECT

    d."NAME",

    t."TBL_NAME",

    t."OWNER",

    s."LOCATION",

    c."COLUMN_NAME",

    c."TYPE_NAME",

    c."COMMENT"

FROM "TBLS" as t

    JOIN "DBS" d

        ON t."DB_ID" = d."DB_ID"

    JOIN "SDS" s

        ON t."SD_ID" = s."SD_ID"

    JOIN "COLUMNS_V2" c

        ON s."CD_ID" = c."CD_ID"

--WHERE d."NAME" = 'raw'

--AND t."TBL_NAME" = 'test'

ORDER BY d."NAME", t."TBL_NAME", c."INTEGER_IDX";

А на этой картинке представлена ER-диаграмма модели данных

@data_engineerette