ابزار و کتابخانه ها

فناوریهای حوزه کلان داده در یک نگاه

سایت InsightDataEngineering یک نمودار تعاملی ساده و جمع و جور برای آشنایی با فناوریهای حوزه کلان داده منتشر کرده است که در نه گروه مختلف این فناوری ها را طبقه بندی کرده است . این طبقه بندی به صورت فهرست وار طبق این نمودار از قرار زیر است :

  1. ابزار تزریق داده : ابزار و فناوریهای که به کمک آنها می توان داده ها را وارد سامانه های کلان داده نمود .
    1. Kafka
    2. RabbitMQ
    3. Fluentd
    4. Sqoop
    5. AWS Kinesis
  2. قالب های فایلی ذخیره و بازیابی اطلاعات : گاهی اوقات نیاز داریم بعضی اطلاعات را که در قالب های مختلف هستند درون فایل ذخیره کنیم .
    1. Avro
    2. Parquet
    3. Thrift
    4. ProtoBuf
    5. SequenceFiles
  3. سیستم های فایلی ذخیره و بازیابی اطلاعات :
    1. HDFS
    2. AWS S3
    3. Tachyon
  4. پردازش دسته ای :
    1. Hadoop Map/Reduce
    2. Spark
    3. AWS EMR
    4. TEZ
    5. یادگیری ماشین
      1. H2O
      2. Mahout
      3. Spark MLib
    6. پردازش گراف
      1. GraphLab
      2. Giraph
      3. Spark GraphX
    7. اجرای SQL
      1. Hive
      2. Presto
      3. Drill
  5. پردازش جریانهای داده
    1. Storm
    2. Spark Streaming
    3. Samza
    4. NiFi
  6. بانکهای اطلاعاتی
    1. بانکهای اطلاعاتی رابطه ای
    2. بانکهای سندگرا
    3. بانکهای سطر گسترده
    4. بانکهای کلید مقدار
    5. بانکهای گراف محور
  7. ابزارهای مدیریت شبکه  وکلاستر
    1. YARN
    2. Mesos
    3. Zookeeper
    4. Oozie
  8. ابزارهای نظارت و مانیتورینگ
    1. Hue
    2. Ambari
    3. Lipstick
    4. Ganglia
  9. داشبوردهای تحلیلی و تولید برنامه های کاربر
    1. Flask
    2. D3
    3. AngularJS
    4. Django
    5. Highcharts

جزییات کامل این گروه بندی و نمودار را در این آدرس می توانید مشاهده کنید .

 

برچسب ها
مشاهده بیشتر

مجتبی بنائی

مدرس دانشگاه، فعال در حوزه مهندسی‌ نرم‌افزار و علم داده که تمرکز کاری خود را در چند سال اخیر بر روی مطالعه و تحقیق در حوزه کلان‌داده و تولید محتوای تخصصی و کاربردی به زبان فارسی و انتشار آنها در سایت مهندسی داده گذاشته است.

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این سایت از اکیسمت برای کاهش هرزنامه استفاده می کند. بیاموزید که چگونه اطلاعات دیدگاه های شما پردازش می‌شوند.

دکمه بازگشت به بالا
بستن
بستن