نوشته های تازه

گامی به جلو در استفاده تجاری از هدوپ

در 12 مهر ماه سالجاری دو شرکت بزرگ هورتون‌ورکز و کلوداِرا رسما ادغام خود را اعلام کردند. خبری که نویدبخش گسترش هر چه بیشتر هدوپ در سامانه‌های تجاری دنیا خواهد بود.

ادامه مطلب »

انویدیا، RAPIDS وتحولی نوین در پردازش داده

کار با واحدهای پردازش گرافیک برای کارهای محاسباتی سابقه‌ای دیرینه دارد. افزایش حجم داده‌ها و نیاز به سرعت بیشتر در تحلیل و پردازش آنها، بازیکنان اصلی پردازش داده دنیا را گرد هم آورده است تا به کمک تجربه شرکت انویدیا، خطوط پردازش داده خود را به پردازه‌های گرافیکی منتقل کنند. RAPIDS خروجی این همکاری است و نویدبخش آینده‌ای بهتر برای علم داده

ادامه مطلب »

چرا از مانگو‌دی‌بی به پستگرس مهاجرت کردیم؟

مانگو‌دی‌بی علیرغم ساختار بسیار منعطف خود، مسایلی را در دنیای واقعی با خود به همراه دارد که این مقاله داستان مهاجرت سایت Shippable از مانگو به پستگرس را بازگو می‌کند

ادامه مطلب »

سامانه‌های پردازش جریان : استورم و هِرون

در ادامه سری آموزشی آشنایی با فریم‌ورک‌های پردازش جریان، در این مقاله به مروری بر آپاچی استورم و نسخه جدید آن یعنی آپاچی هِرون می پردازیم

ادامه مطلب »

سامانه‌های پردازش جریان : اسپارک

در این مقاله ابتدا به بررسی معیارهای سنجش سامانه های پردازش جریان میپردازیم و سپس یکی از رایجترین این سامانه‌ها ، یعنی اسپارک استریمینگ معرفی خواهد شد.

ادامه مطلب »

آشنایی با معماری‌های داده در طراحی سامانه‌های جریان‌پرداز

در این مقاله به بررسی دو معماری مطرح در حوزه کلان‌داده برای طراحی سیستم‌های اطلاعاتی یعنی معماری لامبدا و کاپا می‌پردازیم و با جنبه‌های مختلف آنها آشنا خواهیم شد.

ادامه مطلب »

نگاهی به مفاهیم و ابزار جریان‌پردازی

پردازش جریان

بعد از حدود یک دهه از ظهور و رواج ابزار و کتابخانه­‌های کلان­‌داده، این سامانه­‌ها از لحاظ الگوریتم­‌ها و مدل­‌های پردازشی مقیاس­‌پذیر به یک ثبات نسبی رسیده­‌اند اما مبحث پردازش جریان، به دلیل رواج روزافزون اینترنت اشیاء و دستگاه­‌های هوشمند و لزوم پردازش سریع و لحظه­‌ای حجم عظیم داده­‌های ورودی، به یک موضوع داغ پژوهشی در چند سال اخیر تبدیل شده است

ادامه مطلب »

اشتباهات رایج شرکت‌ها در جذب تحلیل‌گران داده

در حال حاضر در بیشتر استارت‌آپ‌ها و حتی برخی شرکت‌ها بزرگ کشور مشکلات متعددی در جذب کارشناسان و متخصص‌های حوزه‌های علم‌داده، کلان داده و… وجود دارد. این مشکلات را می‌توان در موارد زیر دسته‌بندی نمود.

ادامه مطلب »