تحول بزرگ در Apache Airflow: معرفی نسخه ۳ (Release Candidate)
بعد از سال‌ها کار با نسخه‌های ۱ و ۲، بسیاری از ما به محدودیت‌های Airflow عادت کرده بودیم — از ضعف در مدیریت DAGهای پیچیده، تا اجرای محدود وظایف و نبود انعطاف کافی در تعامل با داده‌ها و رویدادها. حالا نسخه ۳ آمده تا این چالش‌ها را برطرف کند.
در این پست، مهم‌ترین ویژگی‌های Airflow 3 را با هم مرور می‌کنیم:
📌 ۱. نسخه‌بندی DAGها و مشاهده تاریخچه اجرا
در نسخه‌های قبلی، کوچک‌ترین تغییر در DAG باعث گم شدن در کد می‌شد. تشخیص اینکه کِی یک task حذف یا اضافه شده دشوار بود.
✅ حالا با ویژگی‌های AIP-65 و AIP-66، ایرفلو در نسخه ۳ امکان نسخه‌بندی DAGها را فراهم کرده است.
در UI می‌توان به‌راحتی تغییرات بین نسخه‌های DAG را مشاهده کرد — هم در نمای گرافیکی و هم در نمای جدولی. این ویژگی به‌ویژه برای audit، دیباگ کردن و بررسی‌های بعد از وقوع خطا بسیار حیاتی است.
🔄 ۲. Backfill هوشمند و هماهنگ با Scheduler
در گذشته اجرای backfill برای دوره‌های زمانی طولانی، به‌ویژه در ML pipelineها، باعث کندی شدید یا مصرف بیش از حد منابع می‌شد.
✅ Airflow 3 با AIP-78، فرآیند backfill را مستقیماً به Scheduler سپرده. حالا این اجراها هم مقیاس‌پذیرتر شده‌اند و هم از UI قابل کنترل هستند.
این ویژگی اجرای Pipelineهای مرتبط با داده های قبلی یا تست مدل‌های ML با داده‌های گذشته را بسیار راحت‌تر کرده.
🌍 ۳. اجرای وظایف در هر زبان و محیطی
یکی از بزرگ‌ترین تغییرات Airflow 3، تبدیل آن به یک معماری Client/Server است.
✅ با معرفی Task Execution API (AIP-72)، اجرای وظایف از حالت «فقط پایتون» خارج شده و می‌توان از زبان‌هایی مثل Go (و در آینده زبان‌های دیگر) استفاده کرد.
📦 همچنین قابلیت اجرای Task در محیط‌های مختلف مثل Local، Kubernetes یا حتی Remote edge نیز فراهم شده است.
این یعنی می‌توان Airflow را در ساختارهای چند ابری (multi-cloud) و چند زبانه (multi-language) استفاده کرد.
📩 ۴. زمان‌بندی بر اساس رویدادها (Event-Driven Scheduling)
در نسخه‌های قبلی، DAGها فقط بر اساس زمان یا وابستگی به DAGهای دیگر اجرا می‌شدند.
✅ با Airflow 3 و AIP-82، مفهوم جدیدی به‌نام Data Assets و Watchers معرفی شده است. این ساختار اجازه می‌دهد تا DAGها با رخدادهای بیرونی تریگر شوند.
🔸 مثال: با رسیدن یک پیام به AWS SQS، می‌توان یک DAG را اجرا کرد.
اما نکته مهم‌تر اینجاست:
✅ ساختار Watcherها قابل توسعه است. یعنی اگر شما به جای SQS از Kafka استفاده می‌کنید، می‌توانید یک Watcher سفارشی برای Kafka بنویسید تا روی یک Topic مشخص گوش کند و در صورت دریافت پیام، DAG دلخواه را اجرا کند.
💡 این موضوع Airflow را برای سناریوهای real-time، stream processing و سیستم‌های رویدادمحور مثل IoT بسیار کاربردی می‌کند.
🧠 ۵. اجرای DAG برای Inference و تحلیل‌های لحظه‌ای
پیش‌تر Airflow فقط DAGهایی با وابستگی زمانی را پشتیبانی می‌کرد.
✅ حالا با AIP-83، امکان اجرای DAG بدون وابستگی به execution_date فراهم شده.
این قابلیت برای اجرای مدل‌های ML به‌صورت API-based یا انجام Inferenceهای سریع بسیار مفید است.
🖥️ ۶. رابط کاربری کاملاً جدید
UI در نسخه‌های قبلی با Flask AppBuilder ساخته شده بود و توسعه آن سخت و کند بود.
✅ Airflow 3 با AIP-38 و AIP-84، رابط کاربری را با React و FastAPI بازنویسی کرده.
نتیجه؟ رابطی سریع‌تر، سبک‌تر و قابل‌توسعه‌تر.
🔸 همچنین Flask AppBuilder از هسته Airflow جدا شده و به یک پکیج مستقل تبدیل شده است که بروزرسانی‌های امنیتی و نگهداری را ساده‌تر می‌کند (AIP-79).
🔐 ۷. امنیت بهتر با ایزولاسیون وظایف و CLI مدرن
در سازمان‌های بزرگ، وقتی چند تیم از یک Airflow استفاده می‌کردند، مسئله امنیت بین Taskها جدی بود.
✅ حالا Taskها می‌توانند ایزوله اجرا شوند و با API Server تعامل داشته باشند.
همچنین CLI جدید airflowctl معرفی شده که به‌صورت remote و امن با Airflow تعامل دارد (AIP-81).
منبع : https://www.linkedin.com/pulse/apache-airflow-3-release-candidate-apr-4-2025-vikram-koka-3lhmc