خانه / کلان داده

کلان داده

فناوریها و مقالات حوزه کلان داده

سامانه‌های پردازش جریان : استورم و هِرون

در ادامه سری آموزشی آشنایی با فریم‌ورک‌های پردازش جریان، در این مقاله به مروری بر آپاچی استورم و نسخه جدید آن یعنی آپاچی هِرون می پردازیم

ادامه مطلب »

سامانه‌های پردازش جریان : اسپارک

در این مقاله ابتدا به بررسی معیارهای سنجش سامانه های پردازش جریان میپردازیم و سپس یکی از رایجترین این سامانه‌ها ، یعنی اسپارک استریمینگ معرفی خواهد شد.

ادامه مطلب »

آشنایی با معماری‌های داده در طراحی سامانه‌های جریان‌پرداز

در این مقاله به بررسی دو معماری مطرح در حوزه کلان‌داده برای طراحی سیستم‌های اطلاعاتی یعنی معماری لامبدا و کاپا می‌پردازیم و با جنبه‌های مختلف آنها آشنا خواهیم شد.

ادامه مطلب »

نگاهی به مفاهیم و ابزار جریان‌پردازی

پردازش جریان

بعد از حدود یک دهه از ظهور و رواج ابزار و کتابخانه­‌های کلان­‌داده، این سامانه­‌ها از لحاظ الگوریتم­‌ها و مدل­‌های پردازشی مقیاس­‌پذیر به یک ثبات نسبی رسیده­‌اند اما مبحث پردازش جریان، به دلیل رواج روزافزون اینترنت اشیاء و دستگاه­‌های هوشمند و لزوم پردازش سریع و لحظه­‌ای حجم عظیم داده­‌های ورودی، به یک موضوع داغ پژوهشی در چند سال اخیر تبدیل شده است

ادامه مطلب »

نگاهی به امکانات هدوپ ۳ – بخش دوم

در ادامه بررسی امکانات جدید هدوپ ۳ که در بخش اول این نوشتار به آنها اشاره شد، در این مقاله به سایر امکانات و تغییراتی که در نسخه جدید هدوپ شاهد آنها هستیم، می پردازیم. معرفی نسخه ۲ سرویس خط زمان Yarn قبل از بررسی نسخه جدید سرویس خط زمان ...

ادامه مطلب »

گزارش تحلیلی نخستین پیمایش کلان داده‌ها در ایران

پژوهشگاه ارتباطات و فناوری اطلاعات با هدف شناسایی شرکتهای فعال در زمینه فناوری اطلاعات، اقدام به  پیمایش کلان داده‌ها در ایران برای نخستین بار نموده است که علاقه مندان به بررسی وضعیت فعلی اکوسیستم کلان داده در ایران می توانند به این گزارش مراجعه نمایند. خلاصه گزارش را در ادامه ...

ادامه مطلب »

نگاهی به تغییرات هدوپ در نسخه ۳ – بخش اول

در ماه های انتهایی سال ۲۰۱۷ بعد از چندین سال کار مداوم، نسخه ۳ هدوپ به صورت رسمی عرضه شد. در این مقاله به قابلیتهای نوین این نسخه از چارچوب پردازشی محبوب کلان داده خواهیم پرداخت. تغییرات اصلی که در این نسخه شاهد هستیم عبارتند از : با هم این ...

ادامه مطلب »

تحلیل رگرسیون

هنگام کار با داده در نرم افزارهای مختلف داده کاوی، وقتی از رگرسیون استفاده می شود، با نتایج زیر روبرو می شویم. در این مقاله قصد داریم به معرفی هر یک از نتایج بپردازیم. باقیمانده ها (Residuals): باقیمانده برابر تفاوت بین مقادیر مشاهده شده و مقادیر پیش بینی شده است. ...

ادامه مطلب »

آپاچی پولسار : رقیب تازه نفس کافکا

کافکا به عنوان یک سامانه توزیع پیام  مقیاس پذیر، امروزه به یک استاندارد در طراحی سامانه های کلان اطلاعاتی و معماریهای بیگ داده تبدیل شده است. برای ساخت یک خط تولید پردازش داده، داده ها را از منابع مختلف مانند شبکه های اجتماعی، حسگرها، فراخوانی های  API، نقاط مهم در ...

ادامه مطلب »

دورنمای فضای تجاری رایانش ابری ایران

جامعه آزاد رایانش ابری ایران، در بخش طبقه بندی (Taxonomy) سایت خود، اقدام به معرفی شرکتهای فعال در حوزه رایانش ابری کشور نموده است که بسیاری از این شرکتها، خدمات زیرساخت کلان داده هم ارائه می کنند.برای جامعه آزاد رایانش ابری ایران هم آرزوی موفقیت روزافزون و انجام کارهایی حرفه ...

ادامه مطلب »