avatar
Data Bar | О data-проектах
@data_bar
05.09.2025 09:40
Нейрорепортинг Claude + MCP и технологические тренды в IT

Продолжаю погружаться в Generative BI (GenBI) и эксперименты с подключением нейросетей к базам данных. В VILKY (анализ IT вакансий) пробуем строить PDF и HTML-репорты при помощи AI+MCP и отправлять их в tg-канал. Такой формат мы назвали «нейрорепортинг». Расскажу про опыт построения HTML c графиками.

Последний эксперимент - анализ технологических трендов в IT за 11 лет на базе 127000+ вакансий Habr Career (2015–2025).

Как это выглядело
Промт:
Подключись к базе данных вакансий по MCP, таблица vacancies_habr и проведи анализ того какие навыки (skills) устарели а какие выросли.

В навыках - только харды: языки программирования, инструменты, библиотеки и т.п.. Claude cразу сделал в HTML:

Cделал 10 SQL-запросов для изучения структуры таблицы и запуска анализа.
Сравнил частотность навыков в начале периода (2015–2018) и в конце (2021–2024).
Ввел коэффициенты (0.3; 0.6) для "устаревших" и "устаревающих" навыков.
Построил топ устаревающих и топ растущих навыков.

Следующий шаг:
Добавил поправку на общее число вакансий по годам → ещё 7 SQL-запросов. Появилось новое понятие - "глубина проникновения навыка" (отношение числа вакансий с этим скиллом к общему числу вакансий).
Дальше подключили поиск навыков в описаниях - цифры слегка скорректировались.

Проблемы с отчётом
Сам анализ работает, но при оформлении HTML оказалось всё сложнее:
отчёт может отрисоваться некорректно,
графики ломаются или все линии делает одного цвета,
порядок блоков меняется,
добавление мелочей рушит готовый HTML.

В какой-то момент даже закончилось контекстное окно у Claude

Выводы
За логикой SQL-запросов надо следить и исправлять, если неточно.
Нужны шаблоны отчётов, если хотим одинаковый формат.
Лучше сразу формулировать большой промт с точными требованиями к структуре.
Анализ на большом массиве данных будет всегда поверхностным.
С визуализацией пока много ограничений.
Для продовых дашбордов подход ещё сырой, но для ad-hoc исследований уже работает.
Проверять выводы надо обязательно.

В итоге, последнюю версию HTML можно найти в комментариях. Как получилось с первой попытки .
PDF-репорт тоже в комментариях, делал в другом чате.
Можете оценить что вышло.

В конце Claude гордо подписал отчёт:
"Исследование провел AI-аналитик Claude"

Спасибо ему за это!

@data_bar
🔥 11
👍 5
1
10 6 1.1K

Обсуждение 10

Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.

Обсудить в Telegram

Data Bar | О data-проектах

2.3K
Авторский канал о данных, аналитике, визуализации и датапроектах.
Саша Варламов @agvarl, Tableau Zen Master, Avito, ex Playrix, ex InDrive
Открыть в Telegram