خانه / کلان داده / ابزار و کتابخانه ها

ابزار و کتابخانه ها

معرفی سرویسهای تحلیل داده مایکروسافت

download

برای باقی ماندن و راضی نگه داشتن کاربران در دنیای بسیار رقابتی امروز نیاز به سرعت بالای پردازش اطلاعات و شناسایی سریع گلوگاه ها و برطرف کردن آنها هستیم. مثالهای زیر بخوبی اهمیت این مساله را بازگو می کنند : مثالهای بالا گوشه ای از نیازهای رو به رشد سامانه ...

ادامه مطلب »

آشنایی با OpenRefine‌- ابزاری برای پیش پردازش و پاکسازی داده ها – بخش اول

Main

همانطور که میدانید یکی از وقت گیر ترین کارها در عملیات پردازش داده و ساخت مدلهای یادگیری ماشین روی آنها، پاکسازی و پیش پردازش داده هاست. این آموزش به معرفی نرم افزار OpenRefine‌ که قبلاً با نام Google Refine شناخته میشد، به عنوان یکی از ابزارهای متن باز پاکسازی و ...

ادامه مطلب »

معرفی سایت : PredictiveAnalyticsToday مرجع نرم افزارها و خدمات حوزه پردازش و تحلیل داده

shutterstock_218879485-700x467

حوزه تحلیل و پردازش داده ها امروزه به قدری وسیع و متنوع شده است که انتخاب یک نرم افزار  در این حوزه، خود به یک تخصص و احاطه نسبی نیاز دارد . از طرفی، سرویس های مختلفی که برپایه رایانش ابری و بر روی اینترنت برای تحلیل و پردازش داده ...

ادامه مطلب »

آپاچی Mesos : چارچوبی برای ساخت سامانه های توزیع شده

آپاچی Mesos

در این اپیزود که درآگوست ۲۰۱۵ منتشر شده است، جف میرسون با بنجامین هایندمن مصاحبه می‌کند. بنجامین، همکار در تولید Apache Mesos بوده که یک پروژه متن باز است کهCPU، حافظه، فضای ذخیره‌سازی و دیگر منابع کامپیوتر را از ماشین انتزاع می‌کند و این امکان را فراهم می‌کند که سیستم‌‌های ...

ادامه مطلب »

مقدمه ای بر پیکان (Apache Arrow) : تحلیل درون حافظه داده های ستونی

MockingJay

پروژه متن باز پیکان ، علیرغم نوپا بودنش در اکو سیستم آپاچی، در حال تبدیل شدن به یک استاندارد در حوزه پردازش داده و ایجاد یک بستر مناسب برای تعامل بین فناوریهای مختلف کلان داده است. توسعه گران ارشد ۱۳ پروژه متن باز اصلی دنیای کلان داده، یک تیم مشترک ...

ادامه مطلب »

فناوریهای حوزه کلان داده در یک نگاه

InsightData

سایت InsightDataEngineering یک نمودار تعاملی ساده و جمع و جور برای آشنایی با فناوریهای حوزه کلان داده منتشر کرده است که در نه گروه مختلف این فناوری ها را طبقه بندی کرده است . این طبقه بندی به صورت فهرست وار طبق این نمودار از قرار زیر است : ابزار ...

ادامه مطلب »

ارزیابی نرم افزارهای هوش تجاری و آنالیز داده توسط گارتنر

Gartner2

امروزه داده ها با قالب های مختلف و اشکال متنوع در سازمانها در قالب بانک های اطلاعاتی مختلف و فایلهای لاگ و …. توزیع شده اند و برای استخراج اطلاعات مفید و بصری سازی داده ها یا باید از مهندسین داده کمک گرفت که به صورت حرفه ای به تجمیع ...

ادامه مطلب »

فهرستهای حرفه ای گیت هاب در حوزه های مختلف آی تی

GitHubAwsesome

سایت گیت هاب، جای پای خود را در اکثر پروژه های متن باز دنیا باز کرده است و به عنوان یک مخزن آزاد، پذیرای کدهای مختلف برنامه های متن باز و تجاری از سراسر دنیاست . هدف اصلی این سایت ، مشابه سایت بیت باکت یا گیت لب ، مدیریت ...

ادامه مطلب »

مرور سریع فناوریهای حوزه کلان داده : برگه های تقلب سایت DZone

Refcards

یکی از سایتهای مورد علاقه بنده در حوزه اخبار دنیای برنامه نویسی ، سایت DZone است که روزانه اخبار و مطالب مربوط به توسعه نرم افزار را از سراسر جهان جمع آوری می کند و علاقه مندان هر حوزه ای می توانند مطالب مناسبی برای بالا بردن سطح اطلاعات خود ...

ادامه مطلب »

لزوم استفاده از صف های توزیع شده در برنامه های مقیاس پذیر

DistributedQueue

از سال گذشته که درگیر یک پروژه بین المللی در زمینه خواندن اخبار و بررسی محبوبیت هر خبر در شبکه های اجتماعی هستم تا امروز که چند روزی بیشتر به راه افتادن نسخه اول این سایت نمانده است، برای بخش پشت صحنه (Backend) که پیوسته باید سایت های خبری تمام ...

ادامه مطلب »