مروری بر دوره آموزشی کافکا از صفر تا صد

مدرسه مهندسی داده سپهرام دوره جامع آموزش Apache Kafka را با هدف ارائه آموزش‌های کاربردی در حوزه Data Engineering منتشر کرده است. این دوره اکنون تقریباً به پایان رسیده و تمامی جلسات به‌صورت آفلاین قابل مشاهده بوده و دسترسی به گیت دوره و به‌روزرسانی‌های آینده برای دانشجویان فراهم است. دوره از نصب Kafka به‌صورت لوکال شروع شده و تا ساخت پایپ‌لاین‌های Stream Processing، کار با Redpanda و AutoMQ و ابزارهای مدرن پردازش جریان ادامه پیدا می‌کند.

چرا یادگیری Kafka ضروری است؟

در معماری‌های داده‌محور امروزی، حجم زیادی از رویدادها باید در لحظه پردازش شوند، از تراکنش‌های بانکی تا داده‌های وب‌سایت و حسگرها. Kafka به‌عنوان یک سیستم توزیع‌شده سریع، مقاوم و مقیاس‌پذیر، ستون فقرات این جریان داده است .

قابلیت‌ها و امکانات اصلی که کافکا در اختیار ما می‌گذارد

• ساخت پایپ‌لاین‌های بلادرنگ با تأخیر بسیار کم
• یکپارچه‌سازی سرویس‌ها و دیتابیس‌ها با Kafka Connect
• مدیریت Schemaها با Schema Registry
• اجرای کوئری‌های لحظه‌ای با KSQLDB و RisingWave
• طراحی سیستم‌های مقاوم و Fault-Tolerant

سرفصل‌های دوره

بخش ۱ : Kafka Core

• نصب و راه‌اندازی Kafka (لوکال + Docker)
• Producer/Consumer، Consumer Group و Delivery Semantics
• مدیریت Topic، ابزارهای CLI وKafka-UI
• ذخیره‌سازی سگمنت‌ها، Retention و پاکسازی
• تراکنش‌ها، Replication و Fault Tolerance

بخش ۲ : اکوسیستم Kafka

• کار با Redpanda، AutoMQ و Pulsar
• ساخت پایپ‌لاین روی سیستم‌های جایگزین

بخش ۳: ابزارهای کلیدی Kafka

• Schema Registry: نسخه‌بندی پیام‌ها، Avro/Protobuf/JSON
• Kafka Connect: اتصال دیتابیس‌ها، Debezium، DLQ

بخش ۴ : Stream Processing

• ابزارهای SQL محور: KSQLDB، Timeplus، RisingWave
• Spark Streaming، ByteWax، FastStream، معماری‌های YAMLمحور

بخش ۵ — مدیریت و بهینه‌سازی

• امنیت (SASL/SSL، ACL)
• مانیتورینگ با JMX، Prometheus و Grafana
• ریکاوری، تنظیمات عملیاتی و Benchmark

نمونه جلسات قابل مشاهده

دو درس از این دوره به‌صورت آزاد در سایت قرار داده شده است تا علاقه‌مندان بتوانند با حال و هوای این دوره آشنا شوند:

• جلسه ۲: نگاهی عمیق‌تر به Producer/Consumer و تنظیمات مهم
• جلسه ۴: نحوه ذخیره‌سازی داده‌ها، سگمنت‌ها و سیاست‌های Retention

این دو درس برای آشنایی علاقه‌مندان با سبک تدریس، ساختار محتوا و میزان کار عملی آزاد شده‌اند.

ویدئوهای مرتبط در یوتیوب

ویدئوهای زیر هم به عنوان بخشی از محتوای تولید شده در این دوره در کانال یوتیوب مدرسه مهندسی داده منتشر شده‌اند:

1. Hands-On Kafka Connect: DataGen, Debezium CDC & Redis Integration (Docker)
2. Zero-ETL Magic: Stream Kafka to Iceberg in Minutes with AutoMQ Table Topic
3. Deep Dive into Kafka Replication & ISR
4. آشنایی با نصب و راه‌اندازی Apache Kafka + مفاهیم پایه‌ای

🔗 مشاهده سایر ویدئوها:
https://www.youtube.com/@sepahram

لینک دوره و محتوای آموزشی

برای مشاهده دوره و مشاهده جلسات معرفی‌شده از لینک زیر استفاده کنید:
🔗 https://sepahram.ir/courses/apachekafka-redpanda/