خانه / کلان داده

کلان داده

فناوریها و مقالات حوزه کلان داده

معرفی سرویسهای تحلیل داده مایکروسافت

download

برای باقی ماندن و راضی نگه داشتن کاربران در دنیای بسیار رقابتی امروز نیاز به سرعت بالای پردازش اطلاعات و شناسایی سریع گلوگاه ها و برطرف کردن آنها هستیم. مثالهای زیر بخوبی اهمیت این مساله را بازگو می کنند : مثالهای بالا گوشه ای از نیازهای رو به رشد سامانه ...

ادامه مطلب »

۱۳ چارچوب منبع‌باز برای کسب مهارت در یادگیری ماشین، شبکه های عصبی و یادگیری عمیق

1468423763

در یک سال گذشته، یادگیری ماشینی به طرز بی‌سابقه‌ای به جریان اصلی دنیای فناوری تبدیل شده است. جالب اینکه روند توسعه محیط‌های ابری ارزان‌قیمت و کارت‌های گرافیکی پرشتاب و قدرتمند، نقش بسزایی در این زمینه داشته‌اند. این عوامل منجر به رشد انفجاری چارچوب‌هایی شده است که اکنون برای یادگیری ماشینی ...

ادامه مطلب »

آشنایی با OpenRefine‌- ابزاری برای پیش پردازش و پاکسازی داده ها – بخش اول

Main

همانطور که میدانید یکی از وقت گیر ترین کارها در عملیات پردازش داده و ساخت مدلهای یادگیری ماشین روی آنها، پاکسازی و پیش پردازش داده هاست. این آموزش به معرفی نرم افزار OpenRefine‌ که قبلاً با نام Google Refine شناخته میشد، به عنوان یکی از ابزارهای متن باز پاکسازی و ...

ادامه مطلب »

شروع کار با اسپارک : راه اندازی محیط کار

آموزش اسپارک

اسپارک به عنوان یک جایگزین برای روش سنتی توزیع و تجمیع (MapReduce) در هدوپ، به موتور اصلی پردازش داده های حجیم در اکوسیستم های مبتنی بر کلان داده تبدیل شده است . البته شاید برای بعضی کاربردهای خاص که داده های بسیار حجیم و غیر قابل بارگذاری در حافظه دارند، ...

ادامه مطلب »

معرفی سایت : PredictiveAnalyticsToday مرجع نرم افزارها و خدمات حوزه پردازش و تحلیل داده

shutterstock_218879485-700x467

حوزه تحلیل و پردازش داده ها امروزه به قدری وسیع و متنوع شده است که انتخاب یک نرم افزار  در این حوزه، خود به یک تخصص و احاطه نسبی نیاز دارد . از طرفی، سرویس های مختلفی که برپایه رایانش ابری و بر روی اینترنت برای تحلیل و پردازش داده ...

ادامه مطلب »

آپاچی Mesos : چارچوبی برای ساخت سامانه های توزیع شده

آپاچی Mesos

در این اپیزود که درآگوست ۲۰۱۵ منتشر شده است، جف میرسون با بنجامین هایندمن مصاحبه می‌کند. بنجامین، همکار در تولید Apache Mesos بوده که یک پروژه متن باز است کهCPU، حافظه، فضای ذخیره‌سازی و دیگر منابع کامپیوتر را از ماشین انتزاع می‌کند و این امکان را فراهم می‌کند که سیستم‌‌های ...

ادامه مطلب »

پردازش یک میلیارد داده تاکسی های نیویورک

Uber

وبلاگ marksblogg اخیراً مجموعه مقالاتی را منتشر کرده است در خصوص پردازش داده های مسیرهای طی شده توسط تاکسی های نیویورک در شش سال گذشته که بالای یک میلیارد رکورد را شامل می شود. کار بسیار خوبی که نویسنده مقاله انجام داده است، اجرای چند کوئری مشخص روی معماری ها ...

ادامه مطلب »

نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی

Screen_Shot_2015-12-28_at_16.43.04

در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ...

ادامه مطلب »

مقدمه ای بر پیکان (Apache Arrow) : تحلیل درون حافظه داده های ستونی

MockingJay

پروژه متن باز پیکان ، علیرغم نوپا بودنش در اکو سیستم آپاچی، در حال تبدیل شدن به یک استاندارد در حوزه پردازش داده و ایجاد یک بستر مناسب برای تعامل بین فناوریهای مختلف کلان داده است. توسعه گران ارشد ۱۳ پروژه متن باز اصلی دنیای کلان داده، یک تیم مشترک ...

ادامه مطلب »

کیودو – لایه ذخیره ساز جدید هدوپ

introduction-to-apache-kudu-3-638

کیودو (Kudu) به عنوان یک لایه ذخیره ساز جدید و جایگزین HDFS توسط شرکت کلودارا (Cloudera) بعد از سه سال تحقیق و توسعه ، به عنوان یک پروژه متن باز به بنیاد آپاچی پیشنهاد و توسط آپاچی به عنوان یک پروژه نوپا (در حال رشد – incubating) پذیرفته شده است ...

ادامه مطلب »