خانه / کلان داده / معماری های اطلاعاتی

معماری های اطلاعاتی

معماری های اطلاعاتی استفاده شونده در راه حل های حوزه کلان داده

آپاچی فلینک : پرچمدار پردازش جریان‌های داده

شرکت عظیم علی‌بابا که به آمازون چین معروف است، هفته گذشته رسما اعلام کرد که شرکت data Artisans که توسط توسعه‌گران اولیه آپاچی فلینک در سال 2014 ایجاد شده است را به قیمت 90 میلیون یورو خریداری کرده است تا باعث رونق صنعت پردازش داده‌های جریانی در دنیا شود. خبری که نوید بخش رشد سریع آپاچی فلینک در سالیان آتی خواهد بود. فلینک به عنوان یکی از پیشروترین موتورهای پردازش جریان‌های داده آپاچی، امروزه توسط شرکتهای بزرگی چون نتفلیکس و اوبر در حال استفاده است. در این مقاله در ادامه مباحث آشنایی با سامانه‌های جریان‌پرداز دنیا، به مرور قابلیتهای این پروژه متن‌باز خواهیم پرداخت.

ادامه مطلب »

تحولی در پردازش کلان‌داده با آپاچی ایگنایت – رقیب سازمانی اسپارک

پردازش‌های درون حافظه‌ای به دلیل سرعت بالایی که با خود به همراه دارند، از رشد سریعی در چند سال گذشته برخوردار شده اند و آپاچی اسپارک از جمله طلایه داران این حوزه است اما یکپارچه سازی کل حافظه های یک شبکه و ایجاد یک زیرساخت واحد برای تمامی پردازش ها و ذخیره و بازیابی خودکار داده‌ها و نتایج پردازش، کاریست که اسپارک نمی‌تواند انجام دهد. وظیفه ای که امروزه، آپاچی ایگنایت برعهده گرفته است و به عنوان لایه ذخیره سازی سامانه های پردازش داده، مکمل و بخش ضروری بسیاری از پروژه های دیگر بنیاد آپاچی شده است.

ادامه مطلب »

بررسی معماری داده شرکت اوبر

در این مقاله به بررسی سه نسل از معماری داده شرکت عظیم اوبر می‌پردازیم و با مسایل و مشکلاتی که در به کارگیری هدوپ در سیستم‌های واقعی پیش می‌آید به همراه راهکارهای رفع آنها از زبان رضا شیفته‌فر، مدیر تیم کلان داده اوبر، آشنا می‌شویم

ادامه مطلب »

آشنایی با معماری‌های داده در طراحی سامانه‌های جریان‌پرداز

در این مقاله به بررسی دو معماری مطرح در حوزه کلان‌داده برای طراحی سیستم‌های اطلاعاتی یعنی معماری لامبدا و کاپا می‌پردازیم و با جنبه‌های مختلف آنها آشنا خواهیم شد.

ادامه مطلب »

نگاهی به مفاهیم و ابزار جریان‌پردازی

پردازش جریان

بعد از حدود یک دهه از ظهور و رواج ابزار و کتابخانه­‌های کلان­‌داده، این سامانه­‌ها از لحاظ الگوریتم­‌ها و مدل­‌های پردازشی مقیاس­‌پذیر به یک ثبات نسبی رسیده­‌اند اما مبحث پردازش جریان، به دلیل رواج روزافزون اینترنت اشیاء و دستگاه­‌های هوشمند و لزوم پردازش سریع و لحظه­‌ای حجم عظیم داده­‌های ورودی، به یک موضوع داغ پژوهشی در چند سال اخیر تبدیل شده است

ادامه مطلب »

مدل های ارزیابی بلوغ مدیریت داده

  ارزیابی بلوغ توانمندی یا CMA ( برگرفته شده از Capability Maturity Assessment) ، رویکردی به بهبود فرآیندها و بر اساس یک چارچوب ، مدل بلوغ توانمندی یا CMM ( برگرفته شده از Capability Maturity Model )  ، می باشد که چگونگی روند تکاملی خصوصیات یک فرآیند از وضعیت ad-hoc ...

ادامه مطلب »

نگاهی به روند رشد بسترهای پردازشی کلان داده

از سال ۲۰۰۴ که هدوپ به صورت رسمی معرفی و نسخه های عملیاتی آن برای عموم قابل استفاده شد تا امروزه که با معرفی و رواج استفاده از بسترهای نوین پردازشی کلان داده، هدوپ تا حدود زیادی از دور خارج شده است، شاهد رشد و تکامل سامانه های پردازشی مختلفی ...

ادامه مطلب »

کیودو – لایه ذخیره ساز جدید هدوپ

کیودو (Kudu) به عنوان یک لایه ذخیره ساز جدید و جایگزین HDFS توسط شرکت کلودارا (Cloudera) بعد از سه سال تحقیق و توسعه ، به عنوان یک پروژه متن باز به بنیاد آپاچی پیشنهاد و توسط آپاچی به عنوان یک پروژه نوپا (در حال رشد – incubating) پذیرفته شده است ...

ادامه مطلب »

سایتهای بزرگ از چه نرم افزارهایی استفاده می کنند ؟

قبلاْ مطلبی راجع به اینکه سایتهای بزرگ از چه دیتابیس هایی استفاده می کنند نوشته بودم امروز توی سایتی که کتابخانه ها و نرم افزارهای بازمتن دنیا را فهرست و معرفی می کند متوجه شدم نرم افزارهای بازمتنی که در معماری سایتهای بزرگ دنیا مورد استفادد ه قرار گرفته است ...

ادامه مطلب »