تحلیل های عظیم داده-نقشه راه پیاده سازی، فناوری و ابزارها

در طول اولين فاز از دوران كاريم، از اواخر دهه  ۸۰تا اوايل دهه  ،۹۰من يك توسعه دهنده نرم افزار در شركتي بودم كه وظيفه توليد زبان برنامه نويسي كامپايلرها را براي ابركامپيوتر بر عهده داشت. اكثر اين سيستمهاي  high-end سيستمهايي چندپردازنده بودند كه موازي سازيهاي انبوه را به همراه مجموعه هاي بزرگي از داده ها به كار ميبرد. وظيفه اصلي من بهينه سازي كدينگ، با در نظر گرفتن افزايش پهناي باند داده و بهره برداري از مزيتهاي سلسله مراتب حافظه كه بر اساس اين سيستمهاي طراحي و پياده سازي ميگرديد، بود. و قسمت جالب ماجرا اين است كه بسياري از اين معماريها و فناوريهاي مورد استفاده جهت طراحي سخت افزار و توسعه نرم افزار جديد نبوده، و بسياري از آنها به ابركامپيوترهايي نظير ،Illiac IV )اولين سيستمهاي محاسباتي موازي حجيم كه اولين با در ده  ۷۰توسعه يافتند( مربوط
ميباشد.
به همين دليل است كه پديده عظيم داده براي من بسيار جذاب و جالب ميباشد، زيرا فناوري جديدي نبوده و بيشتر به چگونگي استفاده از فناوريهاي شناخته شده و بكارگيري آنها پرداخته ميشود. هنگامي كه جزييات فناوريي كه از  ۲۰سال گذشته ظهور كرده در نيويورك تايمز، وال استزيت ژورنال و اكونوميست چاپ شدند تازه آن وقت شما متوجه  خواهيد شد كه آن فناوري بالاخره رسيده است.

….

اين كتاب به بيان “چگونه ميتوان” برنامههاي كابردي عظيم داده، برنامه نويسي MapReduceيا پيادهسازي Hadoopرا توسعه و اجرايي نمود، ميپردازد. در حقيقت تمايل نويسنده آن است تا دورنماي كلي از برخي جنبههاي مربوط به اكوسيستم يا فرايند اتخاذ و بكارگيري عظيم داده را در هر فصل براي خوانندگان ارائه نمايد.

از مقدمه مولف : دیوید لوشین

• فصل اول: ما به بررسي شرايطي از بازار كه ميتواند منجر به پذيرش وسيع و كلي نسبت به تحليلهاي عظيم داده گردد ميپردازيم. اين شرايط عبارت خواهند بود از:
ايجاد و توليد محصولات نرم افزاري و سختافزاري، افزايش حجم داده، گسترش تنوع در انواع داراييهاي دانشي جهت تحليلها، متدها و روشهاي متفاوت در تحويل و ارائه داده و در نهايت انتظارات روبه رشد جهت رسيدن به يكپارچگي بهنگام و بلادرنگ نسبت به نتايج تحليلها و فرايندهاي عملياتي.
• فصل دوم: در اين فصل، ما به مشخصات و ويژگيهاي مشكلات و مسائل كسب وكار كه از گذشته نيازمند منابع بوده و منجر به گسترش دامنه كسب وكار شده و براي حل آنها ميتوان از بسترها و پلتفرمهاي عظيم داده )يا حتي سخت افزارهاي تخصيص داده شده يا مجازي سازي/ مبتني بر ابر( استفاده نمود پرداخته ميشود.
• فصل سوم: در اين فصل به اين موضوع پرداخته ميشود كه، چه كساني در سازمان بايد در فرايند اكتساب، اثبات و استقرار راهحلهاي عظيم داده در سازمان شركت جويد؟ مسئوليتها و نقشهاي افراد مزبور چگونه تعريف ميشوند؟ در اين فصل به اتخاذ فناوري جديد و چگونگي همراستايي سازمان براي يكپارچگي و مطابقت با چرخه عمر توسعه سيستم پرداخته خواهد شد.
• فصل چهارم: اين فصل ادامه فصل قبلي بوده و برخي موارد كليدي كه اغلب در اتخاذ فناوري جديد مطرح هستند و نشان ميدهند كه موضوعات كليدي مزبور جديد نبوده و تقريبا بخشي از دانش سازماني هستند كه ميتواند در پروراندن برنامه استراتژيك معقول و منطقي تاثيرگذار باشد، تشريح ميگردد.
• فصل پنجم: در اين فصل ما به دنبال بينش، درك و نظارت بر داده مخصوصاً هنگامي كه توسعه برنامههاي كاربردي عظيم داده، منجر به كنارگذاشتن فناوري اطلاعات سنتي و كانالهاي سنتي مديريت داده قديمي ميگردد، خواهيم بود.

• فصل ششم: در اين فصل ما به طراحي سختافزارهاي لازم براي اجراي تحليلها و چگونگي مهندسي سختافزارهاي مزبور براي پذيرش مجموعه دادههاي بزرگ ميپردازم.
• فصل هفتم: اين فصل به بررسي و تشريح درونمايي كلي و سطح بالايي از ابزارها، نظير  Hadoop ميپردازد.
• فصل هشتم: در اين فصل مدل برنامه نويسي  MapReduceمورد بررسي و تجزيه و تحليل قرار خواهد گرفت.
• فصل نهم: در اين فصل، به تشريح گستردگي روشهاي مديريت داده پرداخته و روشهايي را كه براي توسعه برنامههاي كاربردي عظيم داده مناسب هستند، معرفي
ميگردد.
• فصل دهم: در اين فصل به مسائل و مشكلاتي از كسب وكاري كه تحليلهاي گراف، راه حل آنها هستند، پرداخته شده و آنچه را كه منجر به تمايز مسائل در رويكردهاي سنتي شده و ملاحظاتي را كه بايد براي اكتشاف در مقابل تحليلهاي جستجو در نظر گرفت، بررسي ميگردند.
• فصل يازدهم: در اين فصل كوتاه و پاياني، تجربيات برتر براي اتخاذ عظيم داده در سازمان تدريجاً بررسي و بازنگري ميگردد

فصل  ۱محركهاي بازار و كسب وكار براي تحليلهاي عظيم داده ۱
-۱-۱واقعيت و فرضيات عظيم داده ۱
-۲-۱محركهاي كسبوكار ۵
-۳-۱كاهش موانع جهت ورود ۹
-۴-۱ملاحظات ۱۱
-۵-۱تمرينات فكري ۱۲
فصل  ۲عظيم داده و راهحلهاي آن براي كسب وكار ۱۵
-۱-۲اعتبار )درمقابل( مبالغه: برازش سازماني ۱۶
-۲-۲ترويج ارزش عظيم داده ۱۹
-۳-۲موارد استفاده از عظيم داده ۲۰
-۴-۲مشخصات برنامههاي كاربردي عظيم داده ۲۲
-۵-۲ادراك و تشريح ارزش ۲۵
-۶-۲نگاه پيشتاز نسبت به ارزش ۲۶
-۷-۲تمرينات فكري ۲۶
فصل  ۳همراستايي سازماني در جهت تحليلهاي عظيم داده ۲۷
-۱-۳دو سوال كليدي ۲۸
-۲-۳چشم انداز تاريخي مربوط به گزارشگيري و تحليل ۲۹
-۳-۳چالش مقاومتهاي انساني ۳۰
-۴-۳تشريح جنبهها و ابعاد اتخاذ فناوري عظيم داده ۳۱
-۵-۳مشاركت تصميمگيران مناسب ۳۳
-۶-۳نقشهاي سازماني ۳۴
-۷-۳تمرينات فكري ۳۶
فصل  ۴راهبرد يكپارچه سازي تحليلهاي عظيم داده با سازمان ۳۹
-۱-۴چه زمان فناوري عظيم داده براي سازمان شما مناسب است؟ ۴۰
-۲-۴طرح راهبردي براي اكتساب فناوري ۴۱
-۳-۴تجارب استاندارد براي برآورد انتظارات كاربران ۴۱
-۴-۴پذيرش انطباق فناوري: تشريح شاخصهاي رد و تائيد ۴۳
-۵-۴تدارك محيط داده جهت مقياسهاي انبوه ۴۴
-۶-۴ترويج استفاده مجدد از دادهها ۴۶
-۷-۴نظارت و مديريت بر سطوح دسترسي ۴۶
-۸-۴فرايند حاكميتي جريان گسترش فناوري ۴۷
-۹-۴ملاحظات در يكپارچگي سازماني ۴۸
-۱۰-۴تمرينات فكري ۴۹
فصل  ۵حاكميت داده ۵۱
-۱-۵تكامل و شكلگيري حاكميت دادهها ۵۱
-۲-۵عظيم داده و حاكميت داده ۵۳
-۳-۵تفاوتهاي مجموعههاي عظيم داده ۵۴
-۴-۵نظارت بر عظيم داده: پنج مفهوم كليدي ۵۶
-۱-۴-۵مديريت انتظارات و توقعات مصرف كنندگان داده ۵۷
-۲-۴-۵تعريف و تعيين ابعاد حياتي كيفيت داده ۵۸
-۳-۴-۵انسجام و يكپارچگي فراداده و داده مرجع براي استخراج موجوديت ۵۹
-۴-۴-۵هدفگذاري و تفسير مجدد ۶۰
-۵-۴-۵بهبود و غنيسازي داده ۶۱
-۵-۵ملاحظات ۶۳
-۶-۵تمرينات فكري ۶۳
فصل  ۶معرفي برنامههاي كاربردي مديريت عظيم داده ۶۵
-۱-۶موارد استفاده ۶۷
-۲-۶ملاحظات ذخيره سازي: زير ساخت جهت مديريت چرخه عمر داده ۶۹
-۳-۶تجهيزات عظيم داده ۷۱
-۴-۶گزينههاي معماري ۷۲
-۵-۶در نظر گرفتن مشخصات عملكردي ۷۳
-۶-۶چيدمان داده مبتني بر رديف-در مقابل- ستون و عملكرد نرم افزار ۷۶
-۷-۶ملاحظات مربوط به گزينههاي پلتفرم ۸۰
-۸-۶تمرينات فكري ۸۱
فصل  ۷روشها و ابزارهاي عظيم داده ۸۳
-۱-۷درك و شناخت ذخيرهسازي عظيم داده ۸۳
-۲-۷نگاه كلي به معماري با قابليت بالا ۸۴
-۳-۷سيستمهاي فايلي توزيع شده ۸۶ Hadoop
۸۹ YARN  وMAPREDUCE -4-7
-۵-۷ارتقاء اكوسيستم برنامههاي كاربردي عظيم داده ۹۱
۹۱ ZOOKEEPER-6-7
۹۲ HBASE -7-7
۹۳ HIVE -8-7
۹۴ PIG -9-7
۹۵ MAHOUT -10-7
-۱۱-۷ملاحظات ۹۶
-۱۲-۷تمرينات فكري ۹۸
فصل  ۸توسعه برنامه هاي كاربردي عظيم داده ۹۹
-۱-۸موازيسازي ۹۹
-۲-۸افسانه مقياسپذيري آسان ۱۰۰
-۳-۸چارچوب توسعه برنامه كاربردي ۱۰۱
-۴-۸مدل برنامه نويسي ۱۰۲ MAPREDUCE
-۵-۸يك مثال ساده ۱۰۴
-۶-۸توضيحات بيشتر در خصوص ۱۰۵ MAP REDUCE
-۷-۸ساير چارچوبهاي توسعه عظيم داده ۱۰۷
-۸-۸مدل اجرايي ۱۰۸
-۹-۸تمرينات فكري ۱۱۰
فصل  ۹عظيم داده و ۱۱۱ NoSQL
۱۱۱ NOSQL -1-9
” -۲-۹مدلهاي  :” Schema-Lessافزايش انعطافپذيري جهت دستكاري داده ۱۱۲
-۳-۹مخازن كليد- ارزش ۱۱۳
-۴-۹مخازن مستندات ۱۱۶
-۵-۹مخازن جدولي ۱۱۷
-۶-۹مخازن دادهاي شيگرا ۱۱۸
-۷-۹پايگاههاي داده نموداري ۱۱۸
-۸-۹ملاحظات ۱۱۸
-۹-۹تمرينات فكري ۱۱۹
فصل  ۱۰تحليلهاي گراف در عظيم داده ۱۲۱
-۱-۱۰تحليلهاي گراف ۱۲۲
-۲-۱۰سهولت مدل گراف ۱۲۳
-۳-۱۰بازنمايي سه گانه ۱۲۵
-۴-۱۰گرافها و ساختار شبكه ۱۲۶
-۵-۱۰انتخاب تحليلهاي گراف ۱۲۷
-۶-۱۰موارد استفاده از تحليلهاي گراف ۱۲۸
-۷-۱۰الگوريتمهاي تحليلي گراف و رويكردهاي حل مساله ۱۳۰
-۸-۱۰پيچيدگيهاي فني تحليل گرافها ۱۳۲
-۹-۱۰ويژگيهاي يك پلتفرم تحليلي گراف ۱۳۴
-۱۰-۱۰ملاحظات: برنامههاي كاربردي تحليل گراف ۱۳۷
-۱۱-۱۰تمرينات فكري ۱۳۸
فصل  ۱۱نقشه راه عظيم داده ۱۳۹
۱۳۹ – مقدمه۱-۱۱
-۲-۱۱طوفان ذهني: ارزيابي نيازمندي و ارزش عظيم داده ۱۴۰
-۳-۱۱توافق سازماني ۱۴۱
-۴-۱۱تيمسازي ۱۴۲
-۵-۱۱اثبات يك مفهوم ۱۴۷
-۶-۱۱ارزيابي فناوري و انتخاب اوليه ۱۴۹
-۷-۱۱فرايند توسعه، آزمايش و پيادهسازي برنامه كاربردي ۱۵۳
-۸-۱۱دامنه پروژه و پلتفرم ۱۵۴
-۹-۱۱برنامه يكپارچگي تحليلهاي عظيم داده ۱۵۵
-۱۰-۱۱مديريت و نگهداري ۱۵۶
-۱۱-۱۱ارزيابي ۱۵۷
-۱۲-۱۱خلاصه و ملاحظات ۱۵۸
-۱۳-۱۱تمرينات فكري ۱۶