جدیداً به مقاله ای برخوردم با عنوان «آیا برای حل مسائل دسته بندی داده ها در دنیای واقعی به صدها الگوریتم دسته بندی کننده نیاز داریم؟» که با اعمال الگوریتم های مختلف دسته بندی روی بیش از صد مجموعه داده، به این نتیجه رسیده بود که چند تا از الگوریتم ... ادامه مطلب »
در مورد دیتابیس پستگرس (PostgreSQL) مطالب مختلفی را در این سایت منتشر کرده ایم . چهارمین دیتابیس رایج دنیا، دیتابیسی مناسب برای ذخیره داده های سندگرا (JSON) ، از جمله این مقالات است. پستگرس به عنوان دیتابیسی مناسب برای ذخیره حجم بالای داده یا همان کلان داده با امکان اتصال ... ادامه مطلب »
از سال ۲۰۰۴ که هدوپ به صورت رسمی معرفی و نسخه های عملیاتی آن برای عموم قابل استفاده شد تا امروزه که با معرفی و رواج استفاده از بسترهای نوین پردازشی کلان داده، هدوپ تا حدود زیادی از دور خارج شده است، شاهد رشد و تکامل سامانه های پردازشی مختلفی ... ادامه مطلب »
گزارش سالیانه شرکت گارتنر در طبقه بندی و تحلیل نرم افزارهای هوش تجاری اخیرا منتشر شده است و نرم افزارهای اصلی هوش تجاری که در حقیقت ابزارهایی هستند که با تحلیل و تصویرسازی سریع و راحت داده ها، کار تصمیم سازی یک سازمان را هدفمند می نمایند، در قالب چهار ... ادامه مطلب »
گارتنر به رسم هر ساله ، گزارشات خود در حوزه های مختلف فناوری اطلاعات را منتشر کرده است. از جمله این گزارشها ، گزارشی است تحت عنوان «Gartner 2017 Magic Quadrant for Data Science Platforms» که برای اولین بار برای به عنوان «چارک های جادویی گارتنر برای بسترهای علم داده» ... ادامه مطلب »
سایت burtchworks که یک سایت کاریابی در حوزه تحلیل و پردازش داده است، اخیراْ مقاله ای منتشر کرده است با عنوان «متخصصین تحلیل داده کدام ابزار را ترجیح می دهند: R ، پایتون یا SAS» و در آن سه ابزار رایج در حوزه تحلیل و پردازش داده یعنی پایتون، R و SAS ...
ادامه مطلب »
گارتنر به عنوان یک شرکت پژوهشی و مشاوره آمریکایی، نقش بسیار مهمی در بررسی سالیانه روندهای مختلف حوزه فناوری اطلاعات دارد و گزارش های تخصصی آن، راهنمای بسیاری از مدیران ، سرمایه گذاران و فعالان حوزه فناوری اطلاعات در انتخاب فناوری درست و آشنایی با بازار جاری و گستره تکامل ... ادامه مطلب »
حوزه تحلیل و پردازش داده ها امروزه به قدری وسیع و متنوع شده است که انتخاب یک نرم افزار در این حوزه، خود به یک تخصص و احاطه نسبی نیاز دارد . از طرفی، سرویس های مختلفی که برپایه رایانش ابری و بر روی اینترنت برای تحلیل و پردازش داده ... ادامه مطلب »
وبلاگ marksblogg اخیراً مجموعه مقالاتی را منتشر کرده است در خصوص پردازش داده های مسیرهای طی شده توسط تاکسی های نیویورک در شش سال گذشته که بالای یک میلیارد رکورد را شامل می شود. کار بسیار خوبی که نویسنده مقاله انجام داده است، اجرای چند کوئری مشخص روی معماری ها ... ادامه مطلب »
در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوه (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و ... ادامه مطلب »
مهندسی داده هر آنچه راجع به مدیریت داده، کلان داده و بانکهای اطلاعاتی نوین باید بدانید