کنفرانس ها و کارگاه هامهندسی داده

وبکست کاربردی مبانی مهندسی داده

مهندسی داده چیست؟ ابزار و مهارت‌های یک مهندس داده کدام است؟

با همکاری موسسه نیک‌آموز مجموعه‌ آموزشهایی را در حوزه مهندسی داده به صورت کاملا کاربردی برنامه ریزی کرده‌ایم.

همانطور که در این مقاله توضیح داده‌ام، مهندسی داده مجموعه مهارتهایی است که برای طراحی زیرساخت‌های پردازش داده و پایش و نگهداری آنها باید داشته باشیم.

این مجموعه مهارتها شامل آشنایی با اکوسیستم کلان‌داده، پردازش جریان و صف‌های توزیع شده، بانک‌های اطلاعاتی رابطه‌ای و NoSQL، آشنایی با خط فرمان لینوکس، مفاهیم داکر و مجازی سازی و همچنین آشنایی با یک زبان برنامه نویسی (به طور خاص : پایتون) است.
برای آشنایی عملی با این مهندسی داده و مفاهیم و ابزاری که یک مهندس داده باید با آنها آشنا باشد، در وبکست در یک جلسه حدود سه ساعته مطالب زیر را با هم مرور خواهیم کرد :
· آشنایی با رشته نوظهور مهندسی داده (مفاهیم/ابزار/مهارتها)
· بررسی مثال عملی تحلیل داده‌های روزانه سازمان بورس ایران

در این مثال که با محوریت Apache Airflow انجام خواهد شد، با Docker/Airflow/Hadoop(HDFS)/Hive/Hue با دریافت روزانه و خودکار داده های سازمان بورس و تحلیل آنها، آشنا خواهیم شد.

Apache Airflow

· بررسی مثال عملی دریافت لحظه‌ای توئیت‌های بورس و تحلیل اولیه آنها

در مثال دوم هم که با محوریت Apache Nifi به عنوان یک ابزار بصری و کاربردی در حوزه طراحی Data Flow، صورت خواهد گرفت با Docker/Spark/Kafka/Elasticsearch/Nifi به صورت عملی توئیت‌های ارسالی به سهامیاب در هر دقیقه را بررسی خواهیم کرد.

داشبورد طراحی شده برای توئیت‌های لحظه‌ای
نمونه‌ای از خروجی های ارسال شده به کافکا


با توجه به اینکه این دو مثال درون محیط داکر انجام خواهند شد، می‌توانید بعد از اتمام وبکست، فایل کامپوز آنها را دانلود کرده و تمام مراحل را از ابتدا انجام دهید.
این وبکست، مرور سریعی بر وظایف یک مهندس داده و مجموعه ابزار و مهارتهایی است که باید داشته باشد. جهت مشاهده فیلم معرفی و ثبت نام در آن ، از این لینک استفاده کنید.

برای مشاهده سرفصل وثبت نام در دوره مبانی مهندسی داده به وب سایت موسسه نیک آموز مراجعه کنید.

برای دانلود مثالهای عملی مطرح شده در این وبکست می توانید به آدرس زیر مراجعه کنید :

https://gitlab.com/nikamooz_bigdata/de_webcast99

امتیاز کاربران: اولین نفری باشید که امتیاز می دهد!

مجتبی بنائی

دانشجوی دکترای نرم‌افزار دانشگاه تهران (yun.ir/smbanaie)، مدرس دانشگاه و فعال در حوزه توسعه نرم‌افزار و مهندسی داده که تمرکز کاری خود را در چند سال اخیر بر روی مطالعه و تحقیق در حوزه کلان‌داده و زیرساخت‌های پردازش داده و تولید محتوای تخصصی و کاربردی به زبان فارسی و انتشار آنها در سایت مهندسی داده گذاشته است. مدیریت پروژه‌های نرم‌افزاری و طراحی سامانه‌های مقیاس‌پذیر اطلاعاتی از دیگر فعالیتهای صورت گرفته ایشان در چند سال گذشته است.

1 دیدگاه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

جای خالی در معادله زیر را با کی برد انگلیسی وارد کنید : * Time limit is exhausted. Please reload CAPTCHA.

این سایت از اکیسمت برای کاهش هرزنامه استفاده می کند. بیاموزید که چگونه اطلاعات دیدگاه های شما پردازش می‌شوند.

دکمه بازگشت به بالا