کنفرانس ها و کارگاه ها

وبکست کاربردی مبانی مهندسی داده

مهندسی داده چیست؟ ابزار و مهارت‌های یک مهندس داده کدام است؟

با همکاری موسسه نیک‌آموز مجموعه‌ آموزشهایی را در حوزه مهندسی داده به صورت کاملا کاربردی برنامه ریزی کرده‌ایم.

همانطور که در این مقاله توضیح داده‌ام، مهندسی داده مجموعه مهارتهایی است که برای طراحی زیرساخت‌های پردازش داده و پایش و نگهداری آنها باید داشته باشیم.

این مجموعه مهارتها شامل آشنایی با اکوسیستم کلان‌داده، پردازش جریان و صف‌های توزیع شده، بانک‌های اطلاعاتی رابطه‌ای و NoSQL، آشنایی با خط فرمان لینوکس، مفاهیم داکر و مجازی سازی و همچنین آشنایی با یک زبان برنامه نویسی (به طور خاص : پایتون) است.
برای آشنایی عملی با این مهندسی داده و مفاهیم و ابزاری که یک مهندس داده باید با آنها آشنا باشد، در وبکست در یک جلسه حدود سه ساعته مطالب زیر را با هم مرور خواهیم کرد :
· آشنایی با رشته نوظهور مهندسی داده (مفاهیم/ابزار/مهارتها)
· بررسی مثال عملی تحلیل داده‌های روزانه سازمان بورس ایران

در این مثال که با محوریت Apache Airflow انجام خواهد شد، با Docker/Airflow/Hadoop(HDFS)/Hive/Hue با دریافت روزانه و خودکار داده های سازمان بورس و تحلیل آنها، آشنا خواهیم شد.

Apache Airflow

· بررسی مثال عملی دریافت لحظه‌ای توئیت‌های بورس و تحلیل اولیه آنها

در مثال دوم هم که با محوریت Apache Nifi به عنوان یک ابزار بصری و کاربردی در حوزه طراحی Data Flow، صورت خواهد گرفت با Docker/Spark/Kafka/Elasticsearch/Nifi به صورت عملی توئیت‌های ارسالی به سهامیاب در هر دقیقه را بررسی خواهیم کرد.

داشبورد طراحی شده برای توئیت‌های لحظه‌ای
نمونه‌ای از خروجی های ارسال شده به کافکا


با توجه به اینکه این دو مثال درون محیط داکر انجام خواهند شد، می‌توانید بعد از اتمام وبکست، فایل کامپوز آنها را دانلود کرده و تمام مراحل را از ابتدا انجام دهید.
این وبکست، مرور سریعی بر وظایف یک مهندس داده و مجموعه ابزار و مهارتهایی است که باید داشته باشد. جهت مشاهده فیلم معرفی و ثبت نام در آن ، از این لینک استفاده کنید.

در ادامه این وبکست و از ابتدای آذرماه، دوره مبانی مهندسی داده به صورت عملی را استارت خواهیم زد.

برای دانلود مثالهای عملی مطرح شده در این وبکست می توانید به آدرس زیر مراجعه کنید :

https://gitlab.com/nikamooz_bigdata/de_webcast99

مجتبی بنائی

دانشجوی دکترای نرم‌افزار دانشگاه تهران، مدرس دانشگاه و فعال در حوزه مهندسی‌ نرم‌افزار و علم داده که تمرکز کاری خود را در چند سال اخیر بر روی مطالعه و تحقیق در حوزه کلان‌داده و تولید محتوای تخصصی و کاربردی به زبان فارسی و انتشار آنها در سایت مهندسی داده گذاشته است. مدیریت پروژه‌های نرم‌افزاری و طراحی سامانه‌های مقیاس‌پذیر اطلاعاتی از دیگر فعالیتهای صورت گرفته ایشان در چند سال گذشته است.
0 0 vote
Article Rating
Subscribe
Notify of
guest

این سایت از اکیسمت برای کاهش هرزنامه استفاده می کند. بیاموزید که چگونه اطلاعات دیدگاه های شما پردازش می‌شوند.

1 دیدگاه
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
دکمه بازگشت به بالا
1
0
Would love your thoughts, please comment.x
()
x