خانه / مطالب دارای برچسب : آپاچی

مطالب دارای برچسب : آپاچی

نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی

Screen_Shot_2015-12-28_at_16.43.04

در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ...

ادامه مطلب »

مقدمه ای بر پیکان (Apache Arrow) : تحلیل درون حافظه داده های ستونی

MockingJay

پروژه متن باز پیکان ، علیرغم نوپا بودنش در اکو سیستم آپاچی، در حال تبدیل شدن به یک استاندارد در حوزه پردازش داده و ایجاد یک بستر مناسب برای تعامل بین فناوریهای مختلف کلان داده است. توسعه گران ارشد ۱۳ پروژه متن باز اصلی دنیای کلان داده، یک تیم مشترک ...

ادامه مطلب »

مروری بر ابزارهای SQL بر روی هدوپ و کلان داده

SQl_Hadoop

اس کیو ال به عنوان روش استاندارد کار با داده های رابطه ای، سالهاست که در تمام تار و پود دنیای فناوری اطلاعات نفوذ کرده است و بنابراین دور از انتظار نیست که برای داده های بدون ساختار یا نیمه ساختیافته در حوزه کلان داده هم به فکر استفاده از ...

ادامه مطلب »

کدام موتور پردازشی هدوپ را باید استفاده کنیم ؟

Flink

امروزه و در میانه سال ۲۰۱۵ دیگر پردازش ها در حوزه کلان داده محدود به HDFS‌ و رهیافت نگاشت و تجمیع (Map Reduce)‌ نیست بلکه اکوسیستمی کامل از فناوریهایی مختلفی شده است که برای تحلیل انواع داده در مقیاس وسیع به آنها نیاز داریم و مجموعه وسیعی از ابزار و ...

ادامه مطلب »

اسپارک : موتور نوین پردازش کلان داده

Spark

چند صباحیست که در دنیای کلان داده، سامانه پردازش جدیدی پا به عرصه وجود نهاده است با نام اسپارک که امروزه یکی از فعالترین پروژه های بنیاد آپاچی است. تا قبل از اسپارک، برای پردازش حجم عظیم داده ها از هدوپ به صورت معمول استفاده میشد و همانطور که احتمالاً ...

ادامه مطلب »