ابزار و کتابخانه ها

فناوریهای حوزه کلان داده در یک نگاه

سایت InsightDataEngineering یک نمودار تعاملی ساده و جمع و جور برای آشنایی با فناوریهای حوزه کلان داده منتشر کرده است که در نه گروه مختلف این فناوری ها را طبقه بندی کرده است . این طبقه بندی به صورت فهرست وار طبق این نمودار از قرار زیر است :

  1. ابزار تزریق داده : ابزار و فناوریهای که به کمک آنها می توان داده ها را وارد سامانه های کلان داده نمود .
    1. Kafka
    2. RabbitMQ
    3. Fluentd
    4. Sqoop
    5. AWS Kinesis
  2. قالب های فایلی ذخیره و بازیابی اطلاعات : گاهی اوقات نیاز داریم بعضی اطلاعات را که در قالب های مختلف هستند درون فایل ذخیره کنیم .
    1. Avro
    2. Parquet
    3. Thrift
    4. ProtoBuf
    5. SequenceFiles
  3. سیستم های فایلی ذخیره و بازیابی اطلاعات :
    1. HDFS
    2. AWS S3
    3. Tachyon
  4. پردازش دسته ای :
    1. Hadoop Map/Reduce
    2. Spark
    3. AWS EMR
    4. TEZ
    5. یادگیری ماشین
      1. H2O
      2. Mahout
      3. Spark MLib
    6. پردازش گراف
      1. GraphLab
      2. Giraph
      3. Spark GraphX
    7. اجرای SQL
      1. Hive
      2. Presto
      3. Drill
  5. پردازش جریانهای داده
    1. Storm
    2. Spark Streaming
    3. Samza
    4. NiFi
  6. بانکهای اطلاعاتی
    1. بانکهای اطلاعاتی رابطه ای
    2. بانکهای سندگرا
    3. بانکهای سطر گسترده
    4. بانکهای کلید مقدار
    5. بانکهای گراف محور
  7. ابزارهای مدیریت شبکه  وکلاستر
    1. YARN
    2. Mesos
    3. Zookeeper
    4. Oozie
  8. ابزارهای نظارت و مانیتورینگ
    1. Hue
    2. Ambari
    3. Lipstick
    4. Ganglia
  9. داشبوردهای تحلیلی و تولید برنامه های کاربر
    1. Flask
    2. D3
    3. AngularJS
    4. Django
    5. Highcharts

جزییات کامل این گروه بندی و نمودار را در این آدرس می توانید مشاهده کنید .

 

مجتبی بنائی

دانشجوی دکترای نرم‌افزار دانشگاه تهران (yun.ir/smbanaie)، مدرس دانشگاه و فعال در حوزه توسعه نرم‌افزار و مهندسی داده که تمرکز کاری خود را در چند سال اخیر بر روی مطالعه و تحقیق در حوزه کلان‌داده و زیرساخت‌های پردازش داده و تولید محتوای تخصصی و کاربردی به زبان فارسی و انتشار آنها در سایت مهندسی داده گذاشته است. مدیریت پروژه‌های نرم‌افزاری و طراحی سامانه‌های مقیاس‌پذیر اطلاعاتی از دیگر فعالیتهای صورت گرفته ایشان در چند سال گذشته است.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

جای خالی در معادله زیر را با کی برد انگلیسی وارد کنید : * Time limit is exhausted. Please reload CAPTCHA.

این سایت از اکیسمت برای کاهش هرزنامه استفاده می کند. بیاموزید که چگونه اطلاعات دیدگاه های شما پردازش می‌شوند.

دکمه بازگشت به بالا