خانه / کلان داده

کلان داده

فناوریها و مقالات حوزه کلان داده

پردرآمدترین مهارت‌های حوزه کلان‌داده

سایت کاریابی معتبر Dice‌ به رسم هر ساله با استفاده از پرسشنامه‌ای که از مشتریان خود جمع‌آوری می‌کند اقدام به رتبه‌بندی مهارت‌های فناوری‌ اطلاعات بر اساس میزان متوسط پرداخت حقوق به صاحبان آنها می‌پردازد و خلاصه کار را به صورت گزارشی تحلیلی منتشر می‌کند. در جدیدترین گزارش (نسخه سال ۲۰۱۸) ...

ادامه مطلب »

آپاچی اَپکس : چارچوب پردازش داده سازمانی

در ادامه مباحث آشنایی با چارچوب‌های پردازش داده‌های جریانی بنیاد آپاچی، در این نوشتار به معرفی آپاچی اَپکس می‌پردازیم. شرکت DataTorrent یکی از شرکتهای فعال در حوزه پردازش جریان و مستقر در دره سیلیکون آمریکاست. این شرکت در سال ۲۰۱۵ تصمیم گرفت یکی از محصولات تجاری پردازش جریان خود را ...

ادامه مطلب »

مدیریت گرافیکی پروژه‌های کلان‌داده با آپاچی نایفای

اگر قصد طراحی یک سامانه پردازش داده با ابزارهای متنوع متن‌باز امروزی مانند هدوپ، اسپارک، ایگنایت ، فلینک و مشابه آنرا دارید و خواندن از منابع داده و ذخیره نتایج را هم می‌خواهید خودتان مدیریت کنید، آپاچی نایفای به صورت گرافیکی و بسیار سریع، ابزار لازم را در اختیار شما می ‌گذارد. با هم به بررسی این پروژه رو به رشد آپاچی می‌پردازیم.

ادامه مطلب »

گامی به جلو در استفاده تجاری از هدوپ

در 12 مهر ماه سالجاری دو شرکت بزرگ هورتون‌ورکز و کلوداِرا رسما ادغام خود را اعلام کردند. خبری که نویدبخش گسترش هر چه بیشتر هدوپ در سامانه‌های تجاری دنیا خواهد بود.

ادامه مطلب »

سامانه‌های پردازش جریان : استورم و هِرون

در ادامه سری آموزشی آشنایی با فریم‌ورک‌های پردازش جریان، در این مقاله به مروری بر آپاچی استورم و نسخه جدید آن یعنی آپاچی هِرون می پردازیم

ادامه مطلب »

سامانه‌های پردازش جریان : اسپارک

در این مقاله ابتدا به بررسی معیارهای سنجش سامانه های پردازش جریان میپردازیم و سپس یکی از رایجترین این سامانه‌ها ، یعنی اسپارک استریمینگ معرفی خواهد شد.

ادامه مطلب »

آشنایی با معماری‌های داده در طراحی سامانه‌های جریان‌پرداز

در این مقاله به بررسی دو معماری مطرح در حوزه کلان‌داده برای طراحی سیستم‌های اطلاعاتی یعنی معماری لامبدا و کاپا می‌پردازیم و با جنبه‌های مختلف آنها آشنا خواهیم شد.

ادامه مطلب »

نگاهی به مفاهیم و ابزار جریان‌پردازی

پردازش جریان

بعد از حدود یک دهه از ظهور و رواج ابزار و کتابخانه­‌های کلان­‌داده، این سامانه­‌ها از لحاظ الگوریتم­‌ها و مدل­‌های پردازشی مقیاس­‌پذیر به یک ثبات نسبی رسیده­‌اند اما مبحث پردازش جریان، به دلیل رواج روزافزون اینترنت اشیاء و دستگاه­‌های هوشمند و لزوم پردازش سریع و لحظه­‌ای حجم عظیم داده­‌های ورودی، به یک موضوع داغ پژوهشی در چند سال اخیر تبدیل شده است

ادامه مطلب »

نگاهی به امکانات هدوپ ۳ – بخش دوم

در ادامه بررسی امکانات جدید هدوپ ۳ که در بخش اول این نوشتار به آنها اشاره شد، در این مقاله به سایر امکانات و تغییراتی که در نسخه جدید هدوپ شاهد آنها هستیم، می پردازیم. معرفی نسخه ۲ سرویس خط زمان Yarn قبل از بررسی نسخه جدید سرویس خط زمان ...

ادامه مطلب »

گزارش تحلیلی نخستین پیمایش کلان داده‌ها در ایران

پژوهشگاه ارتباطات و فناوری اطلاعات با هدف شناسایی شرکتهای فعال در زمینه فناوری اطلاعات، اقدام به  پیمایش کلان داده‌ها در ایران برای نخستین بار نموده است که علاقه مندان به بررسی وضعیت فعلی اکوسیستم کلان داده در ایران می توانند به این گزارش مراجعه نمایند. خلاصه گزارش را در ادامه ...

ادامه مطلب »