خانه / کلان داده / ابزار و کتابخانه ها / فناوریهای حوزه کلان داده در یک نگاه
InsightData

فناوریهای حوزه کلان داده در یک نگاه

سایت InsightDataEngineering یک نمودار تعاملی ساده و جمع و جور برای آشنایی با فناوریهای حوزه کلان داده منتشر کرده است که در نه گروه مختلف این فناوری ها را طبقه بندی کرده است . این طبقه بندی به صورت فهرست وار طبق این نمودار از قرار زیر است :

  1. ابزار تزریق داده : ابزار و فناوریهای که به کمک آنها می توان داده ها را وارد سامانه های کلان داده نمود .
    1. Kafka
    2. RabbitMQ
    3. Fluentd
    4. Sqoop
    5. AWS Kinesis
  2. قالب های فایلی ذخیره و بازیابی اطلاعات : گاهی اوقات نیاز داریم بعضی اطلاعات را که در قالب های مختلف هستند درون فایل ذخیره کنیم .
    1. Avro
    2. Parquet
    3. Thrift
    4. ProtoBuf
    5. SequenceFiles
  3. سیستم های فایلی ذخیره و بازیابی اطلاعات :
    1. HDFS
    2. AWS S3
    3. Tachyon
  4. پردازش دسته ای :
    1. Hadoop Map/Reduce
    2. Spark
    3. AWS EMR
    4. TEZ
    5. یادگیری ماشین
      1. H2O
      2. Mahout
      3. Spark MLib
    6. پردازش گراف
      1. GraphLab
      2. Giraph
      3. Spark GraphX
    7. اجرای SQL
      1. Hive
      2. Presto
      3. Drill
  5. پردازش جریانهای داده
    1. Storm
    2. Spark Streaming
    3. Samza
    4. NiFi
  6. بانکهای اطلاعاتی
    1. بانکهای اطلاعاتی رابطه ای
    2. بانکهای سندگرا
    3. بانکهای سطر گسترده
    4. بانکهای کلید مقدار
    5. بانکهای گراف محور
  7. ابزارهای مدیریت شبکه  وکلاستر
    1. YARN
    2. Mesos
    3. Zookeeper
    4. Oozie
  8. ابزارهای نظارت و مانیتورینگ
    1. Hue
    2. Ambari
    3. Lipstick
    4. Ganglia
  9. داشبوردهای تحلیلی و تولید برنامه های کاربر
    1. Flask
    2. D3
    3. AngularJS
    4. Django
    5. Highcharts

جزییات کامل این گروه بندی و نمودار را در این آدرس می توانید مشاهده کنید .

 

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

Time limit is exhausted. Please reload CAPTCHA.