خانه / کلان داده / مقایسه و انتخاب

مقایسه و انتخاب

معیارهایی برای انتخاب نوع فایل در پردازش‌های کلان داده

مقدمه بعد از حدود ۱۳ سال از معرفی هدوپ به عنوان اولین سامانه عمومی پردازش کلان داده، این اکوسیستم به بلوغ رسیده است به گونه‌ای که امروز با معرفی نسخه ۳ هدوپ، بسیاری از اشکالات و نواقص آن برطرف شده است. در این بین، نحوه ذخیره فایلها در اکوسیستم هدوپ ...

ادامه مطلب »

نگاهی به روند رشد بسترهای پردازشی کلان داده

از سال ۲۰۰۴ که هدوپ به صورت رسمی معرفی و نسخه های عملیاتی آن برای عموم قابل استفاده شد تا امروزه که با معرفی و رواج استفاده از بسترهای نوین پردازشی کلان داده، هدوپ تا حدود زیادی از دور خارج شده است، شاهد رشد و تکامل سامانه های پردازشی مختلفی ...

ادامه مطلب »

طلایه داران هوش تجاری دنیا از منظر گارتنر – ۲۰۱۷

گزارش سالیانه شرکت گارتنر در طبقه بندی و تحلیل نرم افزارهای هوش تجاری اخیرا منتشر شده است و نرم افزارهای اصلی هوش تجاری که در حقیقت ابزارهایی هستند که با تحلیل و تصویرسازی سریع و راحت داده ها، کار تصمیم سازی یک سازمان را هدفمند می نمایند، در قالب چهار ...

ادامه مطلب »

پردازش یک میلیارد داده تاکسی های نیویورک

وبلاگ marksblogg اخیراً مجموعه مقالاتی را منتشر کرده است در خصوص پردازش داده های مسیرهای طی شده توسط تاکسی های نیویورک در شش سال گذشته که بالای یک میلیارد رکورد را شامل می شود. کار بسیار خوبی که نویسنده مقاله انجام داده است، اجرای چند کوئری مشخص روی معماری ها ...

ادامه مطلب »

نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی

در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ...

ادامه مطلب »

مقدمه ای بر زبان Go – زبانی ساده برای نیازهای امروز

چند روز پیش یکی از دوستان سوالی از بنده توی اسکایپ پرسید  که برای یک برنامه تحت وب که در ثانیه درخواستهای بسیار زیادی را باید به سرعت جواب بدهد، چه زبان برنامه سازی را باید انتخاب کنم ؟ ابتدا از خود سوال کمی تعجب کردم چون بیشتر از خود زبان، ...

ادامه مطلب »

کدام موتور پردازشی هدوپ را باید استفاده کنیم ؟

امروزه و در میانه سال ۲۰۱۵ دیگر پردازش ها در حوزه کلان داده محدود به HDFS‌ و رهیافت نگاشت و تجمیع (Map Reduce)‌ نیست بلکه اکوسیستمی کامل از فناوریهایی مختلفی شده است که برای تحلیل انواع داده در مقیاس وسیع به آنها نیاز داریم و مجموعه وسیعی از ابزار و ...

ادامه مطلب »