خانه / مطالب دارای برچسب : اسپارک

مطالب دارای برچسب : اسپارک

ویدئو : آموزش اصول پایه اسپارک – لیندا

اگر از دنبال کنندگان مباحث علم داده در دنیا باشید، می دانید که نسل دوم سامانه های پردازشی کلان داده با ابداع و رواج اسپارک ، رقم خورد به گونه ای که امروزه کار با اسپارک ، به عنوان یک ضرورت برای دانشمندان داده تبدیل شده است. اسپارک با تمرکز ...

ادامه مطلب »

ویدئو – آموزش علم داده و یادگیری ماشین با پایتون

علم داده به عنوان یکی از پیشروترین مهارت های امروز دنیای تکنولوژی که با طیف عظیمی از ابزار و الگوریتمها سروکار دارد، به یک ضرورت و نیاز تمامی حوزه های دانش تبدیل شده است به گونه ای که برای دومین سال پیاپی، برترین شغل سال آمریکا انتخاب شده است. از ...

ادامه مطلب »

آموزش اسپارک: مفاهیم پایه

مقدمه در ادامه مباحث آموزشی اسپارک، در این نوشتار به توضیح مفاهیم پایه اسپارک و چگونگی استفاده از آن درون یک کتابچه پایتون (نوت بوک) خواهیم پرداخت. همانطور که می دانید بسیاری از چارچوب های سنتی پردازش داده برای اجرا درون یک کامپیوتر طراحی شده بودند. اما مجموعه داده های ...

ادامه مطلب »

نگاهی به روند رشد بسترهای پردازشی کلان داده

از سال ۲۰۰۴ که هدوپ به صورت رسمی معرفی و نسخه های عملیاتی آن برای عموم قابل استفاده شد تا امروزه که با معرفی و رواج استفاده از بسترهای نوین پردازشی کلان داده، هدوپ تا حدود زیادی از دور خارج شده است، شاهد رشد و تکامل سامانه های پردازشی مختلفی ...

ادامه مطلب »

۱۳ چارچوب منبع‌باز برای کسب مهارت در یادگیری ماشین، شبکه های عصبی و یادگیری عمیق

در یک سال گذشته، یادگیری ماشینی به طرز بی‌سابقه‌ای به جریان اصلی دنیای فناوری تبدیل شده است. جالب اینکه روند توسعه محیط‌های ابری ارزان‌قیمت و کارت‌های گرافیکی پرشتاب و قدرتمند، نقش بسزایی در این زمینه داشته‌اند. این عوامل منجر به رشد انفجاری چارچوب‌هایی شده است که اکنون برای یادگیری ماشینی ...

ادامه مطلب »

شروع کار با اسپارک : راه اندازی محیط کار

آموزش اسپارک

اسپارک به عنوان یک جایگزین برای روش سنتی توزیع و تجمیع (MapReduce) در هدوپ، به موتور اصلی پردازش داده های حجیم در اکوسیستم های مبتنی بر کلان داده تبدیل شده است . البته شاید برای بعضی کاربردهای خاص که داده های بسیار حجیم و غیر قابل بارگذاری در حافظه دارند، ...

ادامه مطلب »

نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی

در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ...

ادامه مطلب »

مروری بر ابزارهای SQL بر روی هدوپ و کلان داده

اس کیو ال به عنوان روش استاندارد کار با داده های رابطه ای، سالهاست که در تمام تار و پود دنیای فناوری اطلاعات نفوذ کرده است و بنابراین دور از انتظار نیست که برای داده های بدون ساختار یا نیمه ساختیافته در حوزه کلان داده هم به فکر استفاده از ...

ادامه مطلب »

اسپارک : موتور نوین پردازش کلان داده

چند صباحیست که در دنیای کلان داده، سامانه پردازش جدیدی پا به عرصه وجود نهاده است با نام اسپارک که امروزه یکی از فعالترین پروژه های بنیاد آپاچی است. تا قبل از اسپارک، برای پردازش حجم عظیم داده ها از هدوپ به صورت معمول استفاده میشد و همانطور که احتمالاً ...

ادامه مطلب »