خانه / کلان داده

کلان داده

فناوریها و مقالات حوزه کلان داده

نصب و راه‌اندازی هدوپ – بخش دوم

در ادامه سری آموزشی کلان‌داده به زبان ساده،‌ در این آموزش به نحوه نصب و پیکربندی هدوپ بر روی اوبونتو سرور ۲۰۱۸ خواهیم پرداخت و سرویس‌های پایه هدوپ را اجرا کرده، برای مراحل بعدی آموزش، آماده می‌شویم.

ادامه مطلب »

نصب و راه‌اندازی هدوپ – بخش اول

با توجه به رهیافت سایت مهندسی داده در نشر و تولید مطالب تخصصی در حوزه کلان‌داده، تصمیم گرفتیم بخش جدیدی را با عنوان “کلان‌داده به زبان ساده” راه‌اندازی کنیم که مشابه با سری آموزشی “دست به کد”، با نگاهی کاربردی و عملی، راهنمای علاقه‌مندان به کار در این حوزه باشد. ...

ادامه مطلب »

دریمیو : راهکار یکپارچه سازی داده‌های سازمانی

وجود منابع مختلف داده‌ در یک سازمان امروزه به امری رایج تبدیل شده است و وجود ابزاری که بتواند به تمام منابع داده‌ای موجود دنیا متصل شده، یک واسط استاندارد در اختیار تحلیل‌گران داده بگذارد، غنیمت بزرگی است که دریمیو، این رسالت را برعهده گرفته است.

ادامه مطلب »

کامپیوترهای کوانتومی و تحولی در مدیریت داده‌ها

توان محاسباتی کامپیوترهای کوانتومی تأثیر بسیاری بر هوش مصنوعی، به‌خصوص یادگیری ماشین (Machine Learning)، خواهد گذاشت به این طریق که امکان تحلیل سریع کلان داده‌ها و استخراج الگوهای پیچیده از آنها را بیش از پیش ممکن می‌سازد، ضمن اینکه می‌توان حجم عظیمی از داده‌های استخراج شده از منابع مختلف را با هم جمع کرد و الگوهای نوینی را نیز تحلیل و به دست آورد

ادامه مطلب »

کلان‌داده‌ها، منبع جدید شکاف و نابرابری در جهان

در این نوشتار به بررسی کتاب «کلان‌داده‌ها؛ انقلابی که زندگی ما، کار و تفکر را تغییر می‌دهد» می پردازیم و مزایا و معایب گسترش داده در زندگی معاصر را بررسی می کنیم و متوجه این نکته مهم میشویم که هر که داده‌اش بیش، بردش بیشتر. قانونی که در مورد شرکتها و دولتهای بزرگ ممکن است باعث برتری همه جانبه آنها در زمینه های مختلف زندگی شود.

ادامه مطلب »

کلان داده چگونه باعث ایجاد بحرانی بزرگ در علم شده است؟

در این نوشتار با ذکر مثال‌هایی میبینیم چقدر احتمال دارد دانشمندان از روی بخت‌واقبال سیگنال‌های جالب، اما غیرواقعی را از مجموعه‌ی داده‌ها استخراج کنند. آن‌ها احتمالا براساس همین سیگنال‌ها فرضیه‌سازی و از همان مجموعه‌ی داده‌ی قبلی برای نتیجه‌گیری استفاده می‌کنند.

ادامه مطلب »

نگاهی به صنعت مانیتورینگ با معرفی Prometheus

با گسترش بانک‌های اطلاعاتی و سرویسهای مختلف نرم افزاری در شرکت‌ها و سازمانهای امروزی، نیاز به ابزاری برای پایش مداوم و بررسی وضعیت سرویس‌های مختلف بر اساس پارامترهای قابل تعریف، از جمله نیازهای رو به رشد حوزه زیرساخت است. در این مصاحبه با پرومتئوس به عنوان یکی از طلایه‌داران صنعت مانیتورینگ دنیا آشنا می‌شویم.

ادامه مطلب »

آپاچی فلینک : پرچمدار پردازش جریان‌های داده

شرکت عظیم علی‌بابا که به آمازون چین معروف است، هفته گذشته رسما اعلام کرد که شرکت data Artisans که توسط توسعه‌گران اولیه آپاچی فلینک در سال 2014 ایجاد شده است را به قیمت 90 میلیون یورو خریداری کرده است تا باعث رونق صنعت پردازش داده‌های جریانی در دنیا شود. خبری که نوید بخش رشد سریع آپاچی فلینک در سالیان آتی خواهد بود. فلینک به عنوان یکی از پیشروترین موتورهای پردازش جریان‌های داده آپاچی، امروزه توسط شرکتهای بزرگی چون نتفلیکس و اوبر در حال استفاده است. در این مقاله در ادامه مباحث آشنایی با سامانه‌های جریان‌پرداز دنیا، به مرور قابلیتهای این پروژه متن‌باز خواهیم پرداخت.

ادامه مطلب »

معماری پیشنهادی برای پردازش لحظه‌ای داده‌های بورس

پردازش داده های بورس همواره یکی از حوزه های جذاب کاربردهای هوش مصنوعی و یادگیری ماشین در سالیان اخیر بوده است. با توجه به حجم بسیار بالای داده های تبادل شده در این صنعت و نیاز به اخذ تصمیمات لحظه ای، نیازمند یک معماری کامل و جامع و با نگاه به نیازمندیهای آینده هستیم . در این نوشتار، به بررسی ابزارهای موجود در حوزه کلان داده برای ایجاد یک خط پردازش لحظه‌ای داده های بورس می‌پردازیم.

ادامه مطلب »