خانه / کلان داده / مقایسه و انتخاب

مقایسه و انتخاب

پردازش یک میلیارد داده تاکسی های نیویورک

Uber

وبلاگ marksblogg اخیراً مجموعه مقالاتی را منتشر کرده است در خصوص پردازش داده های مسیرهای طی شده توسط تاکسی های نیویورک در شش سال گذشته که بالای یک میلیارد رکورد را شامل می شود. کار بسیار خوبی که نویسنده مقاله انجام داده است، اجرای چند کوئری مشخص روی معماری ها ...

ادامه مطلب »

نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی

Screen_Shot_2015-12-28_at_16.43.04

در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ...

ادامه مطلب »

مقدمه ای بر زبان Go – زبانی ساده برای نیازهای امروز

google-go-language

چند روز پیش یکی از دوستان سوالی از بنده توی اسکایپ پرسید  که برای یک برنامه تحت وب که در ثانیه درخواستهای بسیار زیادی را باید به سرعت جواب بدهد، چه زبان برنامه سازی را باید انتخاب کنم ؟ ابتدا از خود سوال کمی تعجب کردم چون بیشتر از خود زبان، ...

ادامه مطلب »

کدام موتور پردازشی هدوپ را باید استفاده کنیم ؟

Flink

امروزه و در میانه سال ۲۰۱۵ دیگر پردازش ها در حوزه کلان داده محدود به HDFS‌ و رهیافت نگاشت و تجمیع (Map Reduce)‌ نیست بلکه اکوسیستمی کامل از فناوریهایی مختلفی شده است که برای تحلیل انواع داده در مقیاس وسیع به آنها نیاز داریم و مجموعه وسیعی از ابزار و ...

ادامه مطلب »