در این مقاله به بررسی سه نسل از معماری داده شرکت عظیم اوبر می‌پردازیم و با مسایل و مشکلاتی که در به کارگیری هدوپ در سیستم‌های واقعی پیش می‌آید به همراه راهکارهای رفع آنها از زبان رضا شیفته‌فر، مدیر تیم کلان داده اوبر، آشنا می‌شویم

در ادامه آشنایی با چارچوب‌های پردازش جریان، به پروژه کافکا استریمز می پردازیم. این کتابخانه توسعه داده شده کتابخانه محبوب کافکا با هدف ایجاد امکان ساخت خطوط پردازش داده به صورت توزیع شده بر روی کافکا است.

همه‌ی ما از کپچا (CAPTCHA) فراری ایم – همون تصاویر مزاحمی رو میگم که نوشته های درهم ریخته است و برای اینکه به فرم یا صفحه ای از سایت دسترسی داشته باشیم باید اونو تایپ کنیم. کپچاها برای تشخیص انسان از بات ها (همون برنامه های اتوماتیک) و معمولا برای ...

مثالی بسیار خواندنی برای تشخیص خطوط سفید کنار جاده توسط یک دوربین و یک برنامه ساده که توسط آقای هادی عبدی خجسته در سایت ویرگول منتشر شده است.

سایت کاریابی معتبر Dice‌ به رسم هر ساله با استفاده از پرسشنامه‌ای که از مشتریان خود جمع‌آوری می‌کند اقدام به رتبه‌بندی مهارت‌های فناوری‌ اطلاعات بر اساس میزان متوسط پرداخت حقوق به صاحبان آنها می‌پردازد و خلاصه کار را به صورت گزارشی تحلیلی منتشر می‌کند. در جدیدترین گزارش (نسخه سال ۲۰۱۸) ...

یکی از انواع الگوریتم‌های دسته‌بندی با دقت بالا الگوریتم‌های مبتنی بر مشارکت گروهی و نیز بهبود مستمر (بوستینگ) است که از بین آنها، روش بهبود گرادیان با استقبال خوبی مواجه شده است. جناب آیدین عابدی نیا زحمت تهیه مطلب مفیدی را در این زمینه کشیده اند که وب سایت مهندسی داده به باز نشر آن اقدام کرده است

یک مثال کاربردی از داده‌کاوی در صنعت پزشکی (پیش‌بینی دیابت) که توسط جناب امیر عبداللهی در سایت Dataio.ir منتشر شده است و وب سایت مهندسی داده به باز نشر بخشی از آن پرداخته است.

در ادامه مباحث آشنایی با چارچوب‌های پردازش داده‌های جریانی بنیاد آپاچی، در این نوشتار به معرفی آپاچی اَپکس می‌پردازیم. شرکت DataTorrent یکی از شرکتهای فعال در حوزه پردازش جریان و مستقر در دره سیلیکون آمریکاست. این شرکت در سال ۲۰۱۵ تصمیم گرفت یکی از محصولات تجاری پردازش جریان خود را ...

با توجه به گستره الگوریتم های مورد استفاده در یادگیری ماشین و نیاز به انتخاب مناسب مدل و الگوریتم مورد نیاز، تصمیم گرفتیم نسخه ای از این راهنما را که در سایت شرکت معتبر تحلیل آماری SAS منتشر شده است را برای علاقه‌مندان این حوزه به زبان فارسی تبدیل کنیم با این امید که یک ابزار دم دستی برای علاقه‌مندان و فعالین این حوزه باشد.

اگر قصد طراحی یک سامانه پردازش داده با ابزارهای متنوع متن‌باز امروزی مانند هدوپ، اسپارک، ایگنایت ، فلینک و مشابه آنرا دارید و خواندن از منابع داده و ذخیره نتایج را هم می‌خواهید خودتان مدیریت کنید، آپاچی نایفای به صورت گرافیکی و بسیار سریع، ابزار لازم را در اختیار شما می ‌گذارد. با هم به بررسی این پروژه رو به رشد آپاچی می‌پردازیم.

در 12 مهر ماه سالجاری دو شرکت بزرگ هورتون‌ورکز و کلوداِرا رسما ادغام خود را اعلام کردند. خبری که نویدبخش گسترش هر چه بیشتر هدوپ در سامانه‌های تجاری دنیا خواهد بود.

کار با واحدهای پردازش گرافیک برای کارهای محاسباتی سابقه‌ای دیرینه دارد. افزایش حجم داده‌ها و نیاز به سرعت بیشتر در تحلیل و پردازش آنها، بازیکنان اصلی پردازش داده دنیا را گرد هم آورده است تا به کمک تجربه شرکت انویدیا، خطوط پردازش داده خود را به پردازه‌های گرافیکی منتقل کنند. RAPIDS خروجی این همکاری است و نویدبخش آینده‌ای بهتر برای علم داده