خانه / کلان داده / هدوپ و فناوریهای مرتبط

هدوپ و فناوریهای مرتبط

هدوپ به عنوان یک چهارچوب پردازشی برای کلان داده ،‌جزء‌ اصلی ترین مفاهیم این حوزه از فناوری است .

بررسی معماری داده شرکت اوبر

در این مقاله به بررسی سه نسل از معماری داده شرکت عظیم اوبر می‌پردازیم و با مسایل و مشکلاتی که در به کارگیری هدوپ در سیستم‌های واقعی پیش می‌آید به همراه راهکارهای رفع آنها از زبان رضا شیفته‌فر، مدیر تیم کلان داده اوبر، آشنا می‌شویم

ادامه مطلب »

آپاچی اَپکس : چارچوب پردازش داده سازمانی

در ادامه مباحث آشنایی با چارچوب‌های پردازش داده‌های جریانی بنیاد آپاچی، در این نوشتار به معرفی آپاچی اَپکس می‌پردازیم. شرکت DataTorrent یکی از شرکتهای فعال در حوزه پردازش جریان و مستقر در دره سیلیکون آمریکاست. این شرکت در سال ۲۰۱۵ تصمیم گرفت یکی از محصولات تجاری پردازش جریان خود را ...

ادامه مطلب »

گامی به جلو در استفاده تجاری از هدوپ

در 12 مهر ماه سالجاری دو شرکت بزرگ هورتون‌ورکز و کلوداِرا رسما ادغام خود را اعلام کردند. خبری که نویدبخش گسترش هر چه بیشتر هدوپ در سامانه‌های تجاری دنیا خواهد بود.

ادامه مطلب »

معیارهایی برای انتخاب نوع فایل در پردازش‌های کلان داده

مقدمه بعد از حدود ۱۳ سال از معرفی هدوپ به عنوان اولین سامانه عمومی پردازش کلان داده، این اکوسیستم به بلوغ رسیده است به گونه‌ای که امروز با معرفی نسخه ۳ هدوپ، بسیاری از اشکالات و نواقص آن برطرف شده است. در این بین، نحوه ذخیره فایلها در اکوسیستم هدوپ ...

ادامه مطلب »

مروری بر ابزارهای SQL بر روی هدوپ و کلان داده

اس کیو ال به عنوان روش استاندارد کار با داده های رابطه ای، سالهاست که در تمام تار و پود دنیای فناوری اطلاعات نفوذ کرده است و بنابراین دور از انتظار نیست که برای داده های بدون ساختار یا نیمه ساختیافته در حوزه کلان داده هم به فکر استفاده از ...

ادامه مطلب »

شروع کار با هدوپ : نصب و راه اندازی در چند دقیقه

یکی از سوالاتی که به کرات از بنده پرسیده شده است (از طریق ایمیل، شفاهی یا از طریق سایت) این است که چگونه هدوپ را برای بار اول نصب کنیم و کار با آنرا شروع کنیم. تصمیم گرفتم برای این موضوع که احتمالاً نیاز خیلی از علاقه مندان به مباحث ...

ادامه مطلب »