خانه / مطالب دارای برچسب : پردازش جریان

مطالب دارای برچسب : پردازش جریان

مدیریت گرافیکی پروژه‌های کلان‌داده با آپاچی نایفای

اگر قصد طراحی یک سامانه پردازش داده با ابزارهای متنوع متن‌باز امروزی مانند هدوپ، اسپارک، ایگنایت ، فلینک و مشابه آنرا دارید و خواندن از منابع داده و ذخیره نتایج را هم می‌خواهید خودتان مدیریت کنید، آپاچی نایفای به صورت گرافیکی و بسیار سریع، ابزار لازم را در اختیار شما می ‌گذارد. با هم به بررسی این پروژه رو به رشد آپاچی می‌پردازیم.

ادامه مطلب »

سامانه‌های پردازش جریان : استورم و هِرون

در ادامه سری آموزشی آشنایی با فریم‌ورک‌های پردازش جریان، در این مقاله به مروری بر آپاچی استورم و نسخه جدید آن یعنی آپاچی هِرون می پردازیم

ادامه مطلب »

سامانه‌های پردازش جریان : اسپارک

در این مقاله ابتدا به بررسی معیارهای سنجش سامانه های پردازش جریان میپردازیم و سپس یکی از رایجترین این سامانه‌ها ، یعنی اسپارک استریمینگ معرفی خواهد شد.

ادامه مطلب »

نگاهی به مفاهیم و ابزار جریان‌پردازی

پردازش جریان

بعد از حدود یک دهه از ظهور و رواج ابزار و کتابخانه­‌های کلان­‌داده، این سامانه­‌ها از لحاظ الگوریتم­‌ها و مدل­‌های پردازشی مقیاس­‌پذیر به یک ثبات نسبی رسیده­‌اند اما مبحث پردازش جریان، به دلیل رواج روزافزون اینترنت اشیاء و دستگاه­‌های هوشمند و لزوم پردازش سریع و لحظه­‌ای حجم عظیم داده­‌های ورودی، به یک موضوع داغ پژوهشی در چند سال اخیر تبدیل شده است

ادامه مطلب »

نگاهی به روند رشد بسترهای پردازشی کلان داده

از سال ۲۰۰۴ که هدوپ به صورت رسمی معرفی و نسخه های عملیاتی آن برای عموم قابل استفاده شد تا امروزه که با معرفی و رواج استفاده از بسترهای نوین پردازشی کلان داده، هدوپ تا حدود زیادی از دور خارج شده است، شاهد رشد و تکامل سامانه های پردازشی مختلفی ...

ادامه مطلب »

بسترهای نوین مدیریت لاگ

در این مصاحبه که در فوریه ۲۰۱۵ منتشر شده است، رابرت بلومن با جان گیفارد در ساختمان اداری زیبای شرکت Loggly واقع در مرکز شهر سانفرانسیسکو صحبت می‌کند. جان در رشته کامپیوتر از دانشگاه کانتربری، فارغ‌التحصیل شده است. او بیش از ۲۵ سال است که در زمینه مهندسی نرم‌افزار مشغول ...

ادامه مطلب »

کافکا، بستر نوین جریان‌پردازی- مصاحبه با جون راو

در این اپیزود که در فوریه ۲۰۱۵ منتشر شده است، جف میرسون با جون راو در ارتباط با Apache Kafka مصاحبه می‌کند. جون راو پیش از این در LinkedIn مشغول بوده است و سپس به افتتاح شرکتی مبادرت کرده که کارش به شکل گسترده‌ای مبتنی بر Kafka است. او یک ...

ادامه مطلب »

نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی

در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ...

ادامه مطلب »