خانه / کلان داده

کلان داده

فناوریها و مقالات حوزه کلان داده

نگاهی به مفاهیم و ابزار جریان‌پردازی

پردازش جریان

بعد از حدود یک دهه از ظهور و رواج ابزار و کتابخانه­‌های کلان­‌داده، این سامانه­‌ها از لحاظ الگوریتم­‌ها و مدل­‌های پردازشی مقیاس­‌پذیر به یک ثبات نسبی رسیده­‌اند اما مبحث پردازش جریان، به دلیل رواج روزافزون اینترنت اشیاء و دستگاه­‌های هوشمند و لزوم پردازش سریع و لحظه­‌ای حجم عظیم داده­‌های ورودی، به یک موضوع داغ پژوهشی در چند سال اخیر تبدیل شده است

ادامه مطلب »

نگاهی به امکانات هدوپ ۳ – بخش دوم

در ادامه بررسی امکانات جدید هدوپ ۳ که در بخش اول این نوشتار به آنها اشاره شد، در این مقاله به سایر امکانات و تغییراتی که در نسخه جدید هدوپ شاهد آنها هستیم، می پردازیم. معرفی نسخه ۲ سرویس خط زمان Yarn قبل از بررسی نسخه جدید سرویس خط زمان ...

ادامه مطلب »

گزارش تحلیلی نخستین پیمایش کلان داده‌ها در ایران

پژوهشگاه ارتباطات و فناوری اطلاعات با هدف شناسایی شرکتهای فعال در زمینه فناوری اطلاعات، اقدام به  پیمایش کلان داده‌ها در ایران برای نخستین بار نموده است که علاقه مندان به بررسی وضعیت فعلی اکوسیستم کلان داده در ایران می توانند به این گزارش مراجعه نمایند. خلاصه گزارش را در ادامه ...

ادامه مطلب »

نگاهی به تغییرات هدوپ در نسخه ۳ – بخش اول

در ماه های انتهایی سال ۲۰۱۷ بعد از چندین سال کار مداوم، نسخه ۳ هدوپ به صورت رسمی عرضه شد. در این مقاله به قابلیتهای نوین این نسخه از چارچوب پردازشی محبوب کلان داده خواهیم پرداخت. تغییرات اصلی که در این نسخه شاهد هستیم عبارتند از : با هم این ...

ادامه مطلب »

تحلیل رگرسیون

هنگام کار با داده در نرم افزارهای مختلف داده کاوی، وقتی از رگرسیون استفاده می شود، با نتایج زیر روبرو می شویم. در این مقاله قصد داریم به معرفی هر یک از نتایج بپردازیم. باقیمانده ها (Residuals): باقیمانده برابر تفاوت بین مقادیر مشاهده شده و مقادیر پیش بینی شده است. ...

ادامه مطلب »

آپاچی پولسار : رقیب تازه نفس کافکا

کافکا به عنوان یک سامانه توزیع پیام  مقیاس پذیر، امروزه به یک استاندارد در طراحی سامانه های کلان اطلاعاتی و معماریهای بیگ داده تبدیل شده است. برای ساخت یک خط تولید پردازش داده، داده ها را از منابع مختلف مانند شبکه های اجتماعی، حسگرها، فراخوانی های  API، نقاط مهم در ...

ادامه مطلب »

دورنمای فضای تجاری رایانش ابری ایران

جامعه آزاد رایانش ابری ایران، در بخش طبقه بندی (Taxonomy) سایت خود، اقدام به معرفی شرکتهای فعال در حوزه رایانش ابری کشور نموده است که بسیاری از این شرکتها، خدمات زیرساخت کلان داده هم ارائه می کنند.برای جامعه آزاد رایانش ابری ایران هم آرزوی موفقیت روزافزون و انجام کارهایی حرفه ...

ادامه مطلب »

مدیریت داده : اصول ، چالش ها و چارچوب ها

   بخش اول  امروزه موفقیت سازمان ها با شیوه مدیریت داده گره خورده است. بسیاری از سازمان ها به این موضوع اذعان دارند که داده دارای ارزش است و مدیریت ساختارمند آن می تواند بر موفقیت آنها تاثیرگذار باشد . بدیهی است  که توجه به داده و استخراج ارزش از ...

ادامه مطلب »

مدل های ارزیابی بلوغ مدیریت داده

  ارزیابی بلوغ توانمندی یا CMA ( برگرفته شده از Capability Maturity Assessment) ، رویکردی به بهبود فرآیندها و بر اساس یک چارچوب ، مدل بلوغ توانمندی یا CMM ( برگرفته شده از Capability Maturity Model )  ، می باشد که چگونگی روند تکاملی خصوصیات یک فرآیند از وضعیت ad-hoc ...

ادامه مطلب »

دریاچه داده به عنوان بستر حکمرانی داده در سازمان

مقدمه در سه دهه اخیر که فناوری اطلاعات به تدریج از یک کالای لوکس در سازمانها به یک نیاز ضروری و محور تمامی فعالیت­ها تبدیل شد، حجم محدود داده و نرخ پایین تولید آن در یک سازمان، نیاز به سیاست­گذاری و راهبری داده را چندان محسوس نشان نمی­داد. در چند ...

ادامه مطلب »