خانه / کلان داده (صفحه 2)

کلان داده

فناوریها و مقالات حوزه کلان داده

پردازش یک میلیارد داده تاکسی های نیویورک

وبلاگ marksblogg اخیراً مجموعه مقالاتی را منتشر کرده است در خصوص پردازش داده های مسیرهای طی شده توسط تاکسی های نیویورک در شش سال گذشته که بالای یک میلیارد رکورد را شامل می شود. کار بسیار خوبی که نویسنده مقاله انجام داده است، اجرای چند کوئری مشخص روی معماری ها ...

ادامه مطلب »

نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی

در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ...

ادامه مطلب »

مقدمه ای بر پیکان (Apache Arrow) : تحلیل درون حافظه داده های ستونی

پروژه متن باز پیکان ، علیرغم نوپا بودنش در اکو سیستم آپاچی، در حال تبدیل شدن به یک استاندارد در حوزه پردازش داده و ایجاد یک بستر مناسب برای تعامل بین فناوریهای مختلف کلان داده است. توسعه گران ارشد ۱۳ پروژه متن باز اصلی دنیای کلان داده، یک تیم مشترک ...

ادامه مطلب »

کیودو – لایه ذخیره ساز جدید هدوپ

کیودو (Kudu) به عنوان یک لایه ذخیره ساز جدید و جایگزین HDFS توسط شرکت کلودارا (Cloudera) بعد از سه سال تحقیق و توسعه ، به عنوان یک پروژه متن باز به بنیاد آپاچی پیشنهاد و توسط آپاچی به عنوان یک پروژه نوپا (در حال رشد – incubating) پذیرفته شده است ...

ادامه مطلب »

مجلس گرافی – یک کار مهندسی داده حرفه ای به زبان فارسی

زلیخا گفتن و یوسف شنیدن             شنیدن کی بود مانند دیدن امروزه حرف از مهندسی داده و ضرورت پردازش و استفاده موثر از داده ها به کرات به گوش می خورد اما مثالهای فارسی و بومی که بتوان به علاقه مندان نشان داد که خروجی ...

ادامه مطلب »

آموزش هدوپ از پایه – راه اندازی هدوپ و نصب ابزار لازم

برای آشنایی با جنبه های مختلف سامانه های کلان داده،‌بهتر است به جای خواندن مقالات مختلف و گشت و گذار در اینترنت ، دستها را بالا بزنیم و کار را به صورت عملی فرا بگیریم . سعی داریم از این پس ، به صورت هفتگی یک آموزش عملی از هدوپ ...

ادامه مطلب »

فناوری داده های عظیم و الزامات قانونی آن

مرکز پژوهشهای مجلس در خرداد ماه سالجاری گزارشی را با عنوان فناوری داده های عظیم و الزامات قانونی آن در بیست و چهار صفحه ارائه کرده است که بیشتر مروری است بر الزامات و نیازمندیهای دولت ایران به استفاده از داده ها و فناوریهای نوین پردازشی مرتبط با آن . ...

ادامه مطلب »

شروع درس مقدمه ای بر کلان داده – سایت کورسرا

سایت کورسرا که یکی از معتبرترین ارائه دهندگان دروس تخصصی دنیا به صورت آنلاین است، دروس مختلفی را در حوزه مهندسی داده ارائه می کند. یکی از دروسی که تا چند روز آینده شروع می شود ، درس مقدمه ای بر کلان داده است. این درس که اولین درس از ...

ادامه مطلب »

مقدمه ای بر کلان داده – بیگ دیتا چیست ؟

۱-    مقدمه بیگ دیتا یا کلان داده چندسالیست که در ادبیات فناوری اطلاعات به یک اصطلاح فراگیر تبدیل شده است و در این مقاله سعی شده است، این حوزه نوین، به صورت اجمالی معرفی گردد. اگر بخواهیم تعریفی از کلان داده ارائه کنیم می توانیم آنرا مجموعه داده‌هایی بدانیم که ...

ادامه مطلب »

پرونده ویژه کلان داده در نشریه دانشجویی اف وان

نشریه اف وان به عنوان نشریه شاخه دانشجویی ACM‌ دانشگاه تهران ، در نسخه جدید خود به موضوع داده های بزرگ و یا کلان داده پرداخته است. در وب سایت این نشریه این توضیحات را با حال و هوای دانشجویی می توانید مشاهده کنید : فصل‌نامه‌ی دانش‌جویی اف‌یک حدود چهار ...

ادامه مطلب »