شرکت عظیم علیبابا که به آمازون چین معروف است، هفته گذشته رسما اعلام کرد که شرکت data Artisans که توسط توسعهگران اولیه آپاچی فلینک در سال 2014 ایجاد شده است را به قیمت 90 میلیون یورو خریداری کرده است تا باعث رونق صنعت پردازش دادههای جریانی در دنیا شود. خبری که نوید بخش رشد سریع آپاچی فلینک در سالیان آتی خواهد بود. فلینک به عنوان یکی از پیشروترین موتورهای پردازش جریانهای داده آپاچی، امروزه توسط شرکتهای بزرگی چون نتفلیکس و اوبر در حال استفاده است. در این مقاله در ادامه مباحث آشنایی با سامانههای جریانپرداز دنیا، به مرور قابلیتهای این پروژه متنباز خواهیم پرداخت.
ادامه مطلب »تحولی در پردازش کلانداده با آپاچی ایگنایت – رقیب سازمانی اسپارک
پردازشهای درون حافظهای به دلیل سرعت بالایی که با خود به همراه دارند، از رشد سریعی در چند سال گذشته برخوردار شده اند و آپاچی اسپارک از جمله طلایه داران این حوزه است اما یکپارچه سازی کل حافظه های یک شبکه و ایجاد یک زیرساخت واحد برای تمامی پردازش ها و ذخیره و بازیابی خودکار دادهها و نتایج پردازش، کاریست که اسپارک نمیتواند انجام دهد. وظیفه ای که امروزه، آپاچی ایگنایت برعهده گرفته است و به عنوان لایه ذخیره سازی سامانه های پردازش داده، مکمل و بخش ضروری بسیاری از پروژه های دیگر بنیاد آپاچی شده است.
ادامه مطلب »مدیریت گرافیکی پروژههای کلانداده با آپاچی نایفای
اگر قصد طراحی یک سامانه پردازش داده با ابزارهای متنوع متنباز امروزی مانند هدوپ، اسپارک، ایگنایت ، فلینک و مشابه آنرا دارید و خواندن از منابع داده و ذخیره نتایج را هم میخواهید خودتان مدیریت کنید، آپاچی نایفای به صورت گرافیکی و بسیار سریع، ابزار لازم را در اختیار شما می گذارد. با هم به بررسی این پروژه رو به رشد آپاچی میپردازیم.
ادامه مطلب »سامانههای پردازش جریان : استورم و هِرون
در ادامه سری آموزشی آشنایی با فریمورکهای پردازش جریان، در این مقاله به مروری بر آپاچی استورم و نسخه جدید آن یعنی آپاچی هِرون می پردازیم
ادامه مطلب »سامانههای پردازش جریان : اسپارک
در این مقاله ابتدا به بررسی معیارهای سنجش سامانه های پردازش جریان میپردازیم و سپس یکی از رایجترین این سامانهها ، یعنی اسپارک استریمینگ معرفی خواهد شد.
ادامه مطلب »نگاهی به مفاهیم و ابزار جریانپردازی
بعد از حدود یک دهه از ظهور و رواج ابزار و کتابخانههای کلانداده، این سامانهها از لحاظ الگوریتمها و مدلهای پردازشی مقیاسپذیر به یک ثبات نسبی رسیدهاند اما مبحث پردازش جریان، به دلیل رواج روزافزون اینترنت اشیاء و دستگاههای هوشمند و لزوم پردازش سریع و لحظهای حجم عظیم دادههای ورودی، به یک موضوع داغ پژوهشی در چند سال اخیر تبدیل شده است
ادامه مطلب »نگاهی به روند رشد بسترهای پردازشی کلان داده
از سال ۲۰۰۴ که هدوپ به صورت رسمی معرفی و نسخه های عملیاتی آن برای عموم قابل استفاده شد تا امروزه که با معرفی و رواج استفاده از بسترهای نوین پردازشی کلان داده، هدوپ تا حدود زیادی از دور خارج شده است، شاهد رشد و تکامل سامانه های پردازشی مختلفی ...
ادامه مطلب »بسترهای نوین مدیریت لاگ
در این مصاحبه که در فوریه ۲۰۱۵ منتشر شده است، رابرت بلومن با جان گیفارد در ساختمان اداری زیبای شرکت Loggly واقع در مرکز شهر سانفرانسیسکو صحبت میکند. جان در رشته کامپیوتر از دانشگاه کانتربری، فارغالتحصیل شده است. او بیش از ۲۵ سال است که در زمینه مهندسی نرمافزار مشغول ...
ادامه مطلب »کافکا، بستر نوین جریانپردازی- مصاحبه با جون راو
در این اپیزود که در فوریه ۲۰۱۵ منتشر شده است، جف میرسون با جون راو در ارتباط با Apache Kafka مصاحبه میکند. جون راو پیش از این در LinkedIn مشغول بوده است و سپس به افتتاح شرکتی مبادرت کرده که کارش به شکل گستردهای مبتنی بر Kafka است. او یک ...
ادامه مطلب »نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی
در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ...
ادامه مطلب »