اگر از دنبال کنندگان مباحث علم داده در دنیا باشید، می دانید که نسل دوم سامانه های پردازشی کلان داده با ابداع و رواج اسپارک ، رقم خورد به گونه ای که امروزه کار با اسپارک ، به عنوان یک ضرورت برای دانشمندان داده تبدیل شده است.
اسپارک با تمرکز بر پردازش های درون حافظه ای و ابداع مکانیزمی برای بازیابی محاسبات و تبدیلات انجام شده بر روی مجموعه داده ها در صورت رخداد خطا، محبوبیت زیادی در بین جامعه فعلی دانشمندان و تحلیلگران داده دارد.
این مجموعه آموزشی که به صورت روان و توسط سایت معتبر لیندا در سال ۲۰۱۷ تهیه شده است، با تکیه بر زبان پایتون و محیط تحت وب سایت DataBricks مفاهیم اصلی این چارچوب پردازشی را در یک آموزش یک ساعت و نیمی به شما ارائه خواهد کرد.
توصیه می کنیم ابتدا، دو مقاله زیر را در سایت مهندسی داده مرور کرده ، اکانت لازم را برای خود در سایت Databricks ایجاد کرده، با مفاهیم اصلی این چارچوب آشنا شده و سپس با مشاهده این آموزش ساده و روان و البته مختصر، گام های اولیه را در حوزه پردازش کلان داده بردارید.
سرفصلهای دوره :
- آشنایی با اسپارک
- مروری بر مولفه های اصلی اسپارک
- بررسی نقاط قوت اسپارک
- ارتباط با داده ها
- کار با فایلهای متنی
- بارگزاری فایلهای CSV در DataFrame ها
- استفاده از Spark SQL برای تحلیل داده ها
- اجرای الگوریتم های یادگیری ماشین با کتابخانه MLib
- کار با داده های جریانی و پیوسته
- نحوه اتصال ابزارهای هوش تجاری با اسپارک
مشخصات دوره :
- ناشر : لیندا
- زبان : انگلیسی – روان و ساده
- سطح : متوسط
- طول دوره : ۸۷ دقیقه
- مدرس : Ben Sullins
- تاریخ انتشار : ۴/۳/۲۰۱۷
- پیش نیاز : آشنایی اولیه با پایتون، SQL، هدوپ و هایو (Hive)