Хроники пет-проекта. Как идея выросла в data-продукт.

Привет всем, кто недавно присоединился - вас уже больше 2000 👋

Сегодня расскажу, как мы вчетвером (я, Никита, Рома и Снежана) за год превратили простую идею в полноценный data-продукт.

Если вы делаете свои пет-проекты, возможно, этот путь будет полезен. У нас - опыт работы в больших и средних IT компаниям, и мы делали все так как принято в большом IT. Большую статью про проект писали на VC.

Всё началось с простых вопросов
Сколько стоят IT навыки?
Сколько денег предлагают на конкретных ролях?

Так появился маленький пет-проект.

Со временем он вырос в полноценный data-pipeline с LLM, дашбордами, алертами и автоматическими дайджестами.
В базе - несколько миллионов data-пойнтов. По некоторым источниками собрали историю с 2012 года.
Про проект писали телеграм-каналы с общей аудиторией более 2млн человек.

Мы делали всё по выходным, и сделали то, что еще никто не делал:
объединили данные из разных источников и построили ежедневно обновляемый дашборд
создали телеграм-канал с автоматической аналитикой вакансий.
подключили нейросети к базе данных и реализовали диалог с данными почти сразу после появления MCP.

Коротко весь путь по шагам:

Постановка проблемы.
Про боль рынка, и зачем всё это. Первая версия дашборда.
"Дайте вилку" или IT вакансии с зарплатами

Сбор данных и автоматизация.
Строим песочницу для экспериментов с данными.
IT вакансии и автоматизация парсинга зарплат.

Проект становится системой.
От "скрипта на коленке" в продукт: пайплайн, хранилище, трансформации, дизайн.
Агрегаторы IT вакансий и их сравнение
Проект VILKY. Roadmap, API, dbt и MongoDB

LLM + Telegram + автоматические дайджесты
Как мы придумали дополнительные фичи
Проект VILKY. LLM, телеграм канал и дайджесты
Пет-проект VILKY. Архитектура, исследования, дизайн.

Неожиданный эффект Telegram.
Как проект подхватили крупные IT-паблики
VILKY в IT пабликах и эффект Telegram

Инсайты и наблюдения про рынок IT
14000 открытых IT вакансий на одном дашборде
Hard и Soft навыки в IT профессиях. Алгоритмы NLP

AI-репортинг как следующий слой
AI отчёты на основе данных
Нейрорепортинг Claude + MCP и технологические тренды в IT
Локальное подключение нейросетей к БД

Взгляд сверху
Проекты, продукты и продуктовый подход в пет-проекте


Что мы видим сейчас

Мы собираем данные каждый день, и теперь доступны вещи, которых не было ещё год назад:
динамика вакансий по дням
сезонность найма
тримодальность зарплат (три кластера компаний с разными вилками)
распределение грейдов по IT-направлениям
и многое другое

Мы можем:
считать стоимость навыков
строить карты эволюции профессий
искать вакансии по любому описанию
общаться с данными через Claude или ChatGPT
находить скрытые паттерны в истории рынка

Пространство для анализа огромное. А времени, как всегда, меньше.


И вопрос про будущее:

Технически мы уже можем дать доступ к данным через ChatGPT.

Например:
загружать резюме и искать релевантные вакансии
задавать вопросы реальному рынку
получать ответы из структурированных данных

В публичном виде такого пока никто не делал. Это полноценная связь LLM с данными.

Интересно ли вам было бы общаться с рынком вакансий напрямую через ChatGPT?
Ставьте "❤️" в реакциях.

@data_bar