خانه / کلان داده / مقایسه و انتخاب

مقایسه و انتخاب

پردازش یک میلیارد داده تاکسی های نیویورک

وبلاگ marksblogg اخیراً مجموعه مقالاتی را منتشر کرده است در خصوص پردازش داده های مسیرهای طی شده توسط تاکسی های نیویورک در شش سال گذشته که بالای یک میلیارد رکورد را شامل می شود. کار بسیار خوبی که نویسنده مقاله انجام داده است، اجرای چند کوئری مشخص روی معماری ها ...

ادامه مطلب »

نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی

در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ...

ادامه مطلب »

مقدمه ای بر زبان Go – زبانی ساده برای نیازهای امروز

چند روز پیش یکی از دوستان سوالی از بنده توی اسکایپ پرسید  که برای یک برنامه تحت وب که در ثانیه درخواستهای بسیار زیادی را باید به سرعت جواب بدهد، چه زبان برنامه سازی را باید انتخاب کنم ؟ ابتدا از خود سوال کمی تعجب کردم چون بیشتر از خود زبان، ...

ادامه مطلب »

کدام موتور پردازشی هدوپ را باید استفاده کنیم ؟

امروزه و در میانه سال ۲۰۱۵ دیگر پردازش ها در حوزه کلان داده محدود به HDFS‌ و رهیافت نگاشت و تجمیع (Map Reduce)‌ نیست بلکه اکوسیستمی کامل از فناوریهایی مختلفی شده است که برای تحلیل انواع داده در مقیاس وسیع به آنها نیاز داریم و مجموعه وسیعی از ابزار و ...

ادامه مطلب »