avatar
Data engineering events
@DE_events
17.08.2024 11:35
Airflow 2.10.0

Сегодня выкатили новую версия Apache Airflow — 2.10.0
В релизе много полезных изменений и фиксов, а также новых фич:

emoji декораторы @skip_if и @run_if с помощью которых ты можешь удобно задать условия запуска или пропуска Task`а

emoji Datasets больше не запускают неактивные DAG`и

emoji одновременное использование нескольких Executor в рамках одного DAG`а

emoji try_number больше не увеличивается во время выполнения Task`а

emoji Важно! Теперь Airflow по дефолту собирает телеметрию, все данные передаются в Scarf. Можешь отключить, нужно поправить конфиг [usage_data_collection]enabled=False или переменную окружения SCARF_ANALYTICS=false

Полный список изменений смотри тут или тут.

#airflow #de #dev #release
GitHub
Don't queue runs on DatasetEvent for disabled DAGs by uranusjr · Pull Request #38891 · apache/airflow
Maybe fix #38826? This adds an additional filter on consuming DAG, and only create a DatasetDagRunQueue entry if the DAG is both active (i.e. still exists in a DAG file) and unpaused. There are sti...
👍 9
🔥 7
3
17 1.8K

Обсуждение 0

Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.

Обсудить в Telegram