معرفی بنتوس :‌ یک ابزار ETL‌ ساده، سبک و موثر

یکی از کارهای رایج مهندسین داده، ETL‌ است یعنی داده را از یک منبع ورودی خوانده، آن را پردازش کرده و نهایتا در مقصد ذخیره کنیم. برای این منظور، ابزارهای تجاری و متن‌باز بسیار زیادی وجود دارد که از زمان‌های قدیم که Logstash یک تنه، بار انتقال داده‌ها بین انواع منبع‌ها و مقصدها را به دوش می‌کشید تا الان که شاید بیش از ده‌ها ابزار رایج و تخصصی در این خصوص وجود داشته باشد، این فرآیند به بلوغ بسیار خوبی رسیده است.

اما کتابخانه‌های نرم‌افزاری و بخصوص  ابزارهای مهندسی داده باید

• ساده : کار با آنها ساده باشد.
• سبک : کارآیی بالایی داشته، منابع بسیار کمی از سیستم را درگیر کنند.
• سهل‌الوصول: به راحتی قابل نصب و پیکربندی باشد.

باشند (می‌توانیم به آنها ۳سین بگوییم!!).

Vector.dev‌  یکی از این ابزارهای مطابق با قانون ۳سین است اما بیشتر برای کاربردهای انتقال و جمع‌آوری لاگ‌ و متریک‌ها مناسب است و برای ETL‌ های رایج، به کار نمی‌‌رود.

https://github.com/vectordotdev/vector

Benthos‌ دقیقا معادل و مشابه Vector.dev و مطابق با قانون ۳سین در حوزه ETL است.

• با زبان Go‌ نوشته شده است و بسیار سبک و کارآ است.
• نصب و راه‌اندازی آن همانطور که در تصویر مشخص است، بسیار راحت و آسان است.
• کار با آن ساده است (هر چند برای بخش پردازش داده‌ها، زمان کمی را برای آشنایی با زبان مخصوص آن باید کنار بگذارید)
• به راحتی امکان خواندن از صف‌هایی مانند کافکا و سوکت‌ها را فراهم می‌کند.
• مجموعه بسیار غنی از منبع‌ها، مقصدها و پردازشگرهای از قبل نوشته شده دارد.

اگر قصد طراحی و پیاده‌سازی خطوط انتقال داده را دارید و پردازش‌هایی که بر روی داده‌های دریافتی انجام می‌دهید، ساده و سرراست (مثل فیلتر کردن برخی ورودی‌ها، استخراج و تغییر شکل چند آیتم و …)  است، حتما Benthos را به عنوان یکی از اصلی‌ترین گزینه‌های خود در نظر بگیرید.

آدرس گیت‌هاب پروژه: https://github.com/benthosdev/benthos

آدرس رسمی سایت:  https://www.benthos.dev

گروه تخصصی پرسش‌وپاسخ‌های مهندسی داده : https://t.me/bigdata_ir_discussions

کانال مهندسی داده در تلگرام : https://t.me/bigdata_ir