خانه / مطالب دارای برچسب : HDFS

مطالب دارای برچسب : HDFS

سرگذشت تیم داده‌ی وب سایت دیوار

تجربیات تیم داده سایت دیوار

تیم داده دیوار، از اوایل تابستان ۹۵ با افرادی با تخصص‌ها و مهارت‌های مختلف تشکیل شد و فعالیت خودش را آغاز کرد. در این یادداشت، نگاهی می‌اندازیم به تجربیاتی که در این مدت کسب کردیم- چه از نظر تکنولوژی و چه ساختاری. چرا به چنین تیمی نیاز داشتیم؟ در محصول ...

ادامه مطلب »

نگاهی به امکانات هدوپ ۳ – بخش دوم

در ادامه بررسی امکانات جدید هدوپ ۳ که در بخش اول این نوشتار به آنها اشاره شد، در این مقاله به سایر امکانات و تغییراتی که در نسخه جدید هدوپ شاهد آنها هستیم، می پردازیم. معرفی نسخه ۲ سرویس خط زمان Yarn قبل از بررسی نسخه جدید سرویس خط زمان ...

ادامه مطلب »

سیستم فایل پیشنهادی برای ذخیره و بازیابی میلیون ها فایل

یکی از خوانندگان عزیز سایت مهندسی داده، سوالی از بنده پرسیده بود که برای یک سامانه که نیاز به ذخیره و بازیابی میلیون ها عکس دارد، از چه روشی برای مدیریت فایلها استفاده کنم ؟ به سراغ HDFS بروم یا بانک های اطلاعاتی نوین NoSQL را انتخاب کنم ؟ تصمیم ...

ادامه مطلب »

سيستم‌هاي فايلي در عصر کلان داده

فناوري و دانشي را در نظر بگيريد که در پس زمينه صفحه اصلي موتور جست‌وجوي گوگل مورد استفاده قرار مي‌گيرد. در پس الگوريتم‌ها و ساير قابليت‌هايي که امکان جست‌وجو بر مبناي متن وارد شده را فراهم مي آورد، يک مرکز داده بزرگ نيز وجود دارد. در اين مرکز داده،کپي متني ...

ادامه مطلب »

معرفی هدوپ و آشنایی با معماری آن

بر‌اساس گزارش IDC، حجم داده‌هاي دیجیتالی که در سال ۲۰۱۱ تولید‌ شده‌اند، ده برابر سال ۲۰۰۶ خواهد بود: ۱۸۰۰ اگزابایت! بخش اعظم این داده‌ها، داده‌هاي بی‌ساختار و پیچیده‌اي خواهند بود که برای مدیریت شدن با سیستم‌هاي رابطه‌اي سنتی اصلاً مناسب نیستند. این داده‌هاي بی‌ساختار شامل هر چیزی هستند: ‌از فایل‌هاي ...

ادامه مطلب »