Тут могла бы быть ваша реклама, но ни мне ни вам она не нужна

Коротко о том, что я накодил за месяц в VILKY:

Автоматизировал парсеры для Finder.work и Vseti.app. Активных вакансий каждый день почти 15к и все в одном даше!

Перевел нормализацию с YandexGPT на scikit-learn (Зачем? -> Выходит дороговато каждый день нормализовывать 15к вакансий), настроил ML-пайплайн для грейдов и категорий — точность растёт.

Google Sheets для Tableau: исправил проблему с "тяжёлыми" файлами (<10MB), привёл данные к 3NF.

Для Finder (много IT и не-IT) ушёл от полного парсинга, внедрил инкрементальный ETL с DAG для проверки статусов вакансий на источниках.

На DBT пересоздал модели ODS-слоя по всем источникам, переписал всё на инкрементальную логику.

О больших успехах читайте у Саши и Ромы в их каналах!

Все о вилках в IT