خانه / کلان داده / چارچوب های پردازش کلان داده

چارچوب های پردازش کلان داده

دریاچه داده به عنوان بستر حکمرانی داده در سازمان

مقدمه در سه دهه اخیر که فناوری اطلاعات به تدریج از یک کالای لوکس در سازمانها به یک نیاز ضروری و محور تمامی فعالیت­ها تبدیل شد، حجم محدود داده و نرخ پایین تولید آن در یک سازمان، نیاز به سیاست­گذاری و راهبری داده را چندان محسوس نشان نمی­داد. در چند ...

ادامه مطلب »

آموزش اسپارک: مفاهیم پایه

مقدمه در ادامه مباحث آموزشی اسپارک، در این نوشتار به توضیح مفاهیم پایه اسپارک و چگونگی استفاده از آن درون یک کتابچه پایتون (نوت بوک) خواهیم پرداخت. همانطور که می دانید بسیاری از چارچوب های سنتی پردازش داده برای اجرا درون یک کامپیوتر طراحی شده بودند. اما مجموعه داده های ...

ادامه مطلب »

شروع کار با اسپارک : راه اندازی محیط کار

آموزش اسپارک

اسپارک به عنوان یک جایگزین برای روش سنتی توزیع و تجمیع (MapReduce) در هدوپ، به موتور اصلی پردازش داده های حجیم در اکوسیستم های مبتنی بر کلان داده تبدیل شده است . البته شاید برای بعضی کاربردهای خاص که داده های بسیار حجیم و غیر قابل بارگذاری در حافظه دارند، ...

ادامه مطلب »