خانه / کلان داده

کلان داده

فناوریها و مقالات حوزه کلان داده

کلان داده چگونه باعث ایجاد بحرانی بزرگ در علم شده است؟

در این نوشتار با ذکر مثال‌هایی میبینیم چقدر احتمال دارد دانشمندان از روی بخت‌واقبال سیگنال‌های جالب، اما غیرواقعی را از مجموعه‌ی داده‌ها استخراج کنند. آن‌ها احتمالا براساس همین سیگنال‌ها فرضیه‌سازی و از همان مجموعه‌ی داده‌ی قبلی برای نتیجه‌گیری استفاده می‌کنند.

ادامه مطلب »

نگاهی به صنعت مانیتورینگ با معرفی Prometheus

با گسترش بانک‌های اطلاعاتی و سرویسهای مختلف نرم افزاری در شرکت‌ها و سازمانهای امروزی، نیاز به ابزاری برای پایش مداوم و بررسی وضعیت سرویس‌های مختلف بر اساس پارامترهای قابل تعریف، از جمله نیازهای رو به رشد حوزه زیرساخت است. در این مصاحبه با پرومتئوس به عنوان یکی از طلایه‌داران صنعت مانیتورینگ دنیا آشنا می‌شویم.

ادامه مطلب »

آپاچی فلینک : پرچمدار پردازش جریان‌های داده

شرکت عظیم علی‌بابا که به آمازون چین معروف است، هفته گذشته رسما اعلام کرد که شرکت data Artisans که توسط توسعه‌گران اولیه آپاچی فلینک در سال 2014 ایجاد شده است را به قیمت 90 میلیون یورو خریداری کرده است تا باعث رونق صنعت پردازش داده‌های جریانی در دنیا شود. خبری که نوید بخش رشد سریع آپاچی فلینک در سالیان آتی خواهد بود. فلینک به عنوان یکی از پیشروترین موتورهای پردازش جریان‌های داده آپاچی، امروزه توسط شرکتهای بزرگی چون نتفلیکس و اوبر در حال استفاده است. در این مقاله در ادامه مباحث آشنایی با سامانه‌های جریان‌پرداز دنیا، به مرور قابلیتهای این پروژه متن‌باز خواهیم پرداخت.

ادامه مطلب »

معماری پیشنهادی برای پردازش لحظه‌ای داده‌های بورس

پردازش داده های بورس همواره یکی از حوزه های جذاب کاربردهای هوش مصنوعی و یادگیری ماشین در سالیان اخیر بوده است. با توجه به حجم بسیار بالای داده های تبادل شده در این صنعت و نیاز به اخذ تصمیمات لحظه ای، نیازمند یک معماری کامل و جامع و با نگاه به نیازمندیهای آینده هستیم . در این نوشتار، به بررسی ابزارهای موجود در حوزه کلان داده برای ایجاد یک خط پردازش لحظه‌ای داده های بورس می‌پردازیم.

ادامه مطلب »

تحولی در پردازش کلان‌داده با آپاچی ایگنایت – رقیب سازمانی اسپارک

پردازش‌های درون حافظه‌ای به دلیل سرعت بالایی که با خود به همراه دارند، از رشد سریعی در چند سال گذشته برخوردار شده اند و آپاچی اسپارک از جمله طلایه داران این حوزه است اما یکپارچه سازی کل حافظه های یک شبکه و ایجاد یک زیرساخت واحد برای تمامی پردازش ها و ذخیره و بازیابی خودکار داده‌ها و نتایج پردازش، کاریست که اسپارک نمی‌تواند انجام دهد. وظیفه ای که امروزه، آپاچی ایگنایت برعهده گرفته است و به عنوان لایه ذخیره سازی سامانه های پردازش داده، مکمل و بخش ضروری بسیاری از پروژه های دیگر بنیاد آپاچی شده است.

ادامه مطلب »

اقدامات پژوهشکده فناوری اطلاعات در حوزه کلان داده کشور

رییس پژوهشکده فناوری اطلاعات چهار اقدام تهیه نقشه راه کلان داده کشور، پروژه رگولاتوری کلان داده، برگزاری نشست های منظم کلان داده و تجهیز آزمایشگاه کلان داده را اقدامات اخیر این پژوهشگاه در راستای بومی سازی کلان داده و استفاده عملی از آن در کشور دانست.

ادامه مطلب »

بررسی معماری داده شرکت اوبر

در این مقاله به بررسی سه نسل از معماری داده شرکت عظیم اوبر می‌پردازیم و با مسایل و مشکلاتی که در به کارگیری هدوپ در سیستم‌های واقعی پیش می‌آید به همراه راهکارهای رفع آنها از زبان رضا شیفته‌فر، مدیر تیم کلان داده اوبر، آشنا می‌شویم

ادامه مطلب »

پردرآمدترین مهارت‌های حوزه کلان‌داده

سایت کاریابی معتبر Dice‌ به رسم هر ساله با استفاده از پرسشنامه‌ای که از مشتریان خود جمع‌آوری می‌کند اقدام به رتبه‌بندی مهارت‌های فناوری‌ اطلاعات بر اساس میزان متوسط پرداخت حقوق به صاحبان آنها می‌پردازد و خلاصه کار را به صورت گزارشی تحلیلی منتشر می‌کند. در جدیدترین گزارش (نسخه سال ۲۰۱۸) ...

ادامه مطلب »

آپاچی اَپکس : چارچوب پردازش داده سازمانی

در ادامه مباحث آشنایی با چارچوب‌های پردازش داده‌های جریانی بنیاد آپاچی، در این نوشتار به معرفی آپاچی اَپکس می‌پردازیم. شرکت DataTorrent یکی از شرکتهای فعال در حوزه پردازش جریان و مستقر در دره سیلیکون آمریکاست. این شرکت در سال ۲۰۱۵ تصمیم گرفت یکی از محصولات تجاری پردازش جریان خود را ...

ادامه مطلب »

مدیریت گرافیکی پروژه‌های کلان‌داده با آپاچی نایفای

اگر قصد طراحی یک سامانه پردازش داده با ابزارهای متنوع متن‌باز امروزی مانند هدوپ، اسپارک، ایگنایت ، فلینک و مشابه آنرا دارید و خواندن از منابع داده و ذخیره نتایج را هم می‌خواهید خودتان مدیریت کنید، آپاچی نایفای به صورت گرافیکی و بسیار سریع، ابزار لازم را در اختیار شما می ‌گذارد. با هم به بررسی این پروژه رو به رشد آپاچی می‌پردازیم.

ادامه مطلب »