خانه / کلان داده / مفاهیم پایه

مفاهیم پایه

مفاهیم پایه حوزه کلان داده

آشنایی با معماری‌های داده در طراحی سامانه‌های جریان‌پرداز

در این مقاله به بررسی دو معماری مطرح در حوزه کلان‌داده برای طراحی سیستم‌های اطلاعاتی یعنی معماری لامبدا و کاپا می‌پردازیم و با جنبه‌های مختلف آنها آشنا خواهیم شد.

ادامه مطلب »

نگاهی به مفاهیم و ابزار جریان‌پردازی

پردازش جریان

بعد از حدود یک دهه از ظهور و رواج ابزار و کتابخانه­‌های کلان­‌داده، این سامانه­‌ها از لحاظ الگوریتم­‌ها و مدل­‌های پردازشی مقیاس­‌پذیر به یک ثبات نسبی رسیده­‌اند اما مبحث پردازش جریان، به دلیل رواج روزافزون اینترنت اشیاء و دستگاه­‌های هوشمند و لزوم پردازش سریع و لحظه­‌ای حجم عظیم داده­‌های ورودی، به یک موضوع داغ پژوهشی در چند سال اخیر تبدیل شده است

ادامه مطلب »

تحلیل رگرسیون

هنگام کار با داده در نرم افزارهای مختلف داده کاوی، وقتی از رگرسیون استفاده می شود، با نتایج زیر روبرو می شویم. در این مقاله قصد داریم به معرفی هر یک از نتایج بپردازیم. باقیمانده ها (Residuals): باقیمانده برابر تفاوت بین مقادیر مشاهده شده و مقادیر پیش بینی شده است. ...

ادامه مطلب »

دریاچه داده به عنوان بستر حکمرانی داده در سازمان

مقدمه در سه دهه اخیر که فناوری اطلاعات به تدریج از یک کالای لوکس در سازمانها به یک نیاز ضروری و محور تمامی فعالیت­ها تبدیل شد، حجم محدود داده و نرخ پایین تولید آن در یک سازمان، نیاز به سیاست­گذاری و راهبری داده را چندان محسوس نشان نمی­داد. در چند ...

ادامه مطلب »

بیگ دیتا چیست ؟ – اینفوگرافیک

دوازدهمین شماره نشریه ایست رسانه ای با موضوع بیگ دیتا یا کلان داده، توسط فرهنگسسرای رسانه و شبکه های اجتماعی، منتشر شد. به گزارش روابط عمومی فرهنگسرای رسانه و شبکه‌های اجتماعی، داده‌های بزرگ یا کلان داده ترجمه اصطلاح Big Data است که معمولا به مجموعه‌ای از داده‌ها اطلاق می‌شود که ...

ادامه مطلب »

معیارهایی برای انتخاب نوع فایل در پردازش‌های کلان داده

مقدمه بعد از حدود ۱۳ سال از معرفی هدوپ به عنوان اولین سامانه عمومی پردازش کلان داده، این اکوسیستم به بلوغ رسیده است به گونه‌ای که امروز با معرفی نسخه ۳ هدوپ، بسیاری از اشکالات و نواقص آن برطرف شده است. در این بین، نحوه ذخیره فایلها در اکوسیستم هدوپ ...

ادامه مطلب »

مقدمه ای بر کلان داده – بیگ دیتا چیست ؟

۱-    مقدمه بیگ دیتا یا کلان داده چندسالیست که در ادبیات فناوری اطلاعات به یک اصطلاح فراگیر تبدیل شده است و در این مقاله سعی شده است، این حوزه نوین، به صورت اجمالی معرفی گردد. اگر بخواهیم تعریفی از کلان داده ارائه کنیم می توانیم آنرا مجموعه داده‌هایی بدانیم که ...

ادامه مطلب »

پرونده ویژه کلان داده در نشریه دانشجویی اف وان

نشریه اف وان به عنوان نشریه شاخه دانشجویی ACM‌ دانشگاه تهران ، در نسخه جدید خود به موضوع داده های بزرگ و یا کلان داده پرداخته است. در وب سایت این نشریه این توضیحات را با حال و هوای دانشجویی می توانید مشاهده کنید : فصل‌نامه‌ی دانش‌جویی اف‌یک حدود چهار ...

ادامه مطلب »

یادگیری ماشین – SVM یا ماشین بردار پشتیبان به زبان ساده

دسته بند بردار پشتیبان

یکی از الگوریتم ها و روشهای بسیار رایج در حوزه دسته بندی داده ها، الگوریتم SVM یا ماشین بردار پشتیبان است که در این مقاله سعی شده است به زبان ساده و به دور از پیچیدگیهای فنی توضیح داده شود. آشنایی با مفهوم دسته بندی فرض کنید مجموعه داده ای ...

ادامه مطلب »

اسپارک : موتور نوین پردازش کلان داده

چند صباحیست که در دنیای کلان داده، سامانه پردازش جدیدی پا به عرصه وجود نهاده است با نام اسپارک که امروزه یکی از فعالترین پروژه های بنیاد آپاچی است. تا قبل از اسپارک، برای پردازش حجم عظیم داده ها از هدوپ به صورت معمول استفاده میشد و همانطور که احتمالاً ...

ادامه مطلب »