خانه / کلان داده / ابزار و کتابخانه ها

ابزار و کتابخانه ها

دریمیو : راهکار یکپارچه سازی داده‌های سازمانی

وجود منابع مختلف داده‌ در یک سازمان امروزه به امری رایج تبدیل شده است و وجود ابزاری که بتواند به تمام منابع داده‌ای موجود دنیا متصل شده، یک واسط استاندارد در اختیار تحلیل‌گران داده بگذارد، غنیمت بزرگی است که دریمیو، این رسالت را برعهده گرفته است.

ادامه مطلب »

نگاهی به صنعت مانیتورینگ با معرفی Prometheus

با گسترش بانک‌های اطلاعاتی و سرویسهای مختلف نرم افزاری در شرکت‌ها و سازمانهای امروزی، نیاز به ابزاری برای پایش مداوم و بررسی وضعیت سرویس‌های مختلف بر اساس پارامترهای قابل تعریف، از جمله نیازهای رو به رشد حوزه زیرساخت است. در این مصاحبه با پرومتئوس به عنوان یکی از طلایه‌داران صنعت مانیتورینگ دنیا آشنا می‌شویم.

ادامه مطلب »

آپاچی فلینک : پرچمدار پردازش جریان‌های داده

شرکت عظیم علی‌بابا که به آمازون چین معروف است، هفته گذشته رسما اعلام کرد که شرکت data Artisans که توسط توسعه‌گران اولیه آپاچی فلینک در سال 2014 ایجاد شده است را به قیمت 90 میلیون یورو خریداری کرده است تا باعث رونق صنعت پردازش داده‌های جریانی در دنیا شود. خبری که نوید بخش رشد سریع آپاچی فلینک در سالیان آتی خواهد بود. فلینک به عنوان یکی از پیشروترین موتورهای پردازش جریان‌های داده آپاچی، امروزه توسط شرکتهای بزرگی چون نتفلیکس و اوبر در حال استفاده است. در این مقاله در ادامه مباحث آشنایی با سامانه‌های جریان‌پرداز دنیا، به مرور قابلیتهای این پروژه متن‌باز خواهیم پرداخت.

ادامه مطلب »

معماری پیشنهادی برای پردازش لحظه‌ای داده‌های بورس

پردازش داده های بورس همواره یکی از حوزه های جذاب کاربردهای هوش مصنوعی و یادگیری ماشین در سالیان اخیر بوده است. با توجه به حجم بسیار بالای داده های تبادل شده در این صنعت و نیاز به اخذ تصمیمات لحظه ای، نیازمند یک معماری کامل و جامع و با نگاه به نیازمندیهای آینده هستیم . در این نوشتار، به بررسی ابزارهای موجود در حوزه کلان داده برای ایجاد یک خط پردازش لحظه‌ای داده های بورس می‌پردازیم.

ادامه مطلب »

تحولی در پردازش کلان‌داده با آپاچی ایگنایت – رقیب سازمانی اسپارک

پردازش‌های درون حافظه‌ای به دلیل سرعت بالایی که با خود به همراه دارند، از رشد سریعی در چند سال گذشته برخوردار شده اند و آپاچی اسپارک از جمله طلایه داران این حوزه است اما یکپارچه سازی کل حافظه های یک شبکه و ایجاد یک زیرساخت واحد برای تمامی پردازش ها و ذخیره و بازیابی خودکار داده‌ها و نتایج پردازش، کاریست که اسپارک نمی‌تواند انجام دهد. وظیفه ای که امروزه، آپاچی ایگنایت برعهده گرفته است و به عنوان لایه ذخیره سازی سامانه های پردازش داده، مکمل و بخش ضروری بسیاری از پروژه های دیگر بنیاد آپاچی شده است.

ادامه مطلب »

بررسی معماری داده شرکت اوبر

در این مقاله به بررسی سه نسل از معماری داده شرکت عظیم اوبر می‌پردازیم و با مسایل و مشکلاتی که در به کارگیری هدوپ در سیستم‌های واقعی پیش می‌آید به همراه راهکارهای رفع آنها از زبان رضا شیفته‌فر، مدیر تیم کلان داده اوبر، آشنا می‌شویم

ادامه مطلب »

آپاچی اَپکس : چارچوب پردازش داده سازمانی

در ادامه مباحث آشنایی با چارچوب‌های پردازش داده‌های جریانی بنیاد آپاچی، در این نوشتار به معرفی آپاچی اَپکس می‌پردازیم. شرکت DataTorrent یکی از شرکتهای فعال در حوزه پردازش جریان و مستقر در دره سیلیکون آمریکاست. این شرکت در سال ۲۰۱۵ تصمیم گرفت یکی از محصولات تجاری پردازش جریان خود را ...

ادامه مطلب »

مدیریت گرافیکی پروژه‌های کلان‌داده با آپاچی نایفای

اگر قصد طراحی یک سامانه پردازش داده با ابزارهای متنوع متن‌باز امروزی مانند هدوپ، اسپارک، ایگنایت ، فلینک و مشابه آنرا دارید و خواندن از منابع داده و ذخیره نتایج را هم می‌خواهید خودتان مدیریت کنید، آپاچی نایفای به صورت گرافیکی و بسیار سریع، ابزار لازم را در اختیار شما می ‌گذارد. با هم به بررسی این پروژه رو به رشد آپاچی می‌پردازیم.

ادامه مطلب »

گامی به جلو در استفاده تجاری از هدوپ

در 12 مهر ماه سالجاری دو شرکت بزرگ هورتون‌ورکز و کلوداِرا رسما ادغام خود را اعلام کردند. خبری که نویدبخش گسترش هر چه بیشتر هدوپ در سامانه‌های تجاری دنیا خواهد بود.

ادامه مطلب »

سامانه‌های پردازش جریان : استورم و هِرون

در ادامه سری آموزشی آشنایی با فریم‌ورک‌های پردازش جریان، در این مقاله به مروری بر آپاچی استورم و نسخه جدید آن یعنی آپاچی هِرون می پردازیم

ادامه مطلب »