خانه / کلان داده

کلان داده

فناوریها و مقالات حوزه کلان داده

دریمیو : راهکار یکپارچه سازی داده‌های سازمانی

وجود منابع مختلف داده‌ در یک سازمان امروزه به امری رایج تبدیل شده است و وجود ابزاری که بتواند به تمام منابع داده‌ای موجود دنیا متصل شده، یک واسط استاندارد در اختیار تحلیل‌گران داده بگذارد، غنیمت بزرگی است که دریمیو، این رسالت را برعهده گرفته است.

ادامه مطلب »

کامپیوترهای کوانتومی و تحولی در مدیریت داده‌ها

توان محاسباتی کامپیوترهای کوانتومی تأثیر بسیاری بر هوش مصنوعی، به‌خصوص یادگیری ماشین (Machine Learning)، خواهد گذاشت به این طریق که امکان تحلیل سریع کلان داده‌ها و استخراج الگوهای پیچیده از آنها را بیش از پیش ممکن می‌سازد، ضمن اینکه می‌توان حجم عظیمی از داده‌های استخراج شده از منابع مختلف را با هم جمع کرد و الگوهای نوینی را نیز تحلیل و به دست آورد

ادامه مطلب »

کلان‌داده‌ها، منبع جدید شکاف و نابرابری در جهان

در این نوشتار به بررسی کتاب «کلان‌داده‌ها؛ انقلابی که زندگی ما، کار و تفکر را تغییر می‌دهد» می پردازیم و مزایا و معایب گسترش داده در زندگی معاصر را بررسی می کنیم و متوجه این نکته مهم میشویم که هر که داده‌اش بیش، بردش بیشتر. قانونی که در مورد شرکتها و دولتهای بزرگ ممکن است باعث برتری همه جانبه آنها در زمینه های مختلف زندگی شود.

ادامه مطلب »

کلان داده چگونه باعث ایجاد بحرانی بزرگ در علم شده است؟

در این نوشتار با ذکر مثال‌هایی میبینیم چقدر احتمال دارد دانشمندان از روی بخت‌واقبال سیگنال‌های جالب، اما غیرواقعی را از مجموعه‌ی داده‌ها استخراج کنند. آن‌ها احتمالا براساس همین سیگنال‌ها فرضیه‌سازی و از همان مجموعه‌ی داده‌ی قبلی برای نتیجه‌گیری استفاده می‌کنند.

ادامه مطلب »

نگاهی به صنعت مانیتورینگ با معرفی Prometheus

با گسترش بانک‌های اطلاعاتی و سرویسهای مختلف نرم افزاری در شرکت‌ها و سازمانهای امروزی، نیاز به ابزاری برای پایش مداوم و بررسی وضعیت سرویس‌های مختلف بر اساس پارامترهای قابل تعریف، از جمله نیازهای رو به رشد حوزه زیرساخت است. در این مصاحبه با پرومتئوس به عنوان یکی از طلایه‌داران صنعت مانیتورینگ دنیا آشنا می‌شویم.

ادامه مطلب »

آپاچی فلینک : پرچمدار پردازش جریان‌های داده

شرکت عظیم علی‌بابا که به آمازون چین معروف است، هفته گذشته رسما اعلام کرد که شرکت data Artisans که توسط توسعه‌گران اولیه آپاچی فلینک در سال 2014 ایجاد شده است را به قیمت 90 میلیون یورو خریداری کرده است تا باعث رونق صنعت پردازش داده‌های جریانی در دنیا شود. خبری که نوید بخش رشد سریع آپاچی فلینک در سالیان آتی خواهد بود. فلینک به عنوان یکی از پیشروترین موتورهای پردازش جریان‌های داده آپاچی، امروزه توسط شرکتهای بزرگی چون نتفلیکس و اوبر در حال استفاده است. در این مقاله در ادامه مباحث آشنایی با سامانه‌های جریان‌پرداز دنیا، به مرور قابلیتهای این پروژه متن‌باز خواهیم پرداخت.

ادامه مطلب »

معماری پیشنهادی برای پردازش لحظه‌ای داده‌های بورس

پردازش داده های بورس همواره یکی از حوزه های جذاب کاربردهای هوش مصنوعی و یادگیری ماشین در سالیان اخیر بوده است. با توجه به حجم بسیار بالای داده های تبادل شده در این صنعت و نیاز به اخذ تصمیمات لحظه ای، نیازمند یک معماری کامل و جامع و با نگاه به نیازمندیهای آینده هستیم . در این نوشتار، به بررسی ابزارهای موجود در حوزه کلان داده برای ایجاد یک خط پردازش لحظه‌ای داده های بورس می‌پردازیم.

ادامه مطلب »

تحولی در پردازش کلان‌داده با آپاچی ایگنایت – رقیب سازمانی اسپارک

پردازش‌های درون حافظه‌ای به دلیل سرعت بالایی که با خود به همراه دارند، از رشد سریعی در چند سال گذشته برخوردار شده اند و آپاچی اسپارک از جمله طلایه داران این حوزه است اما یکپارچه سازی کل حافظه های یک شبکه و ایجاد یک زیرساخت واحد برای تمامی پردازش ها و ذخیره و بازیابی خودکار داده‌ها و نتایج پردازش، کاریست که اسپارک نمی‌تواند انجام دهد. وظیفه ای که امروزه، آپاچی ایگنایت برعهده گرفته است و به عنوان لایه ذخیره سازی سامانه های پردازش داده، مکمل و بخش ضروری بسیاری از پروژه های دیگر بنیاد آپاچی شده است.

ادامه مطلب »

اقدامات پژوهشکده فناوری اطلاعات در حوزه کلان داده کشور

رییس پژوهشکده فناوری اطلاعات چهار اقدام تهیه نقشه راه کلان داده کشور، پروژه رگولاتوری کلان داده، برگزاری نشست های منظم کلان داده و تجهیز آزمایشگاه کلان داده را اقدامات اخیر این پژوهشگاه در راستای بومی سازی کلان داده و استفاده عملی از آن در کشور دانست.

ادامه مطلب »