خانه / علم داده / پردازش زبان طبیعی

پردازش زبان طبیعی

دست به کد : جمع آوری و پردازش توئیت های فارسی

در ادامه سلسله مباحث آموزشی پردازش زبان طبیعی و قبل از اینکه بخواهیم به صورت کامل به مباحث مرتبط با این موضوع به صورت عملی بپردازیم، نیازمند متون فارسی اولیه برای تحلیل های متنی هستیم. با توجه به اینکه نوشته های رسمی روزنامه ها و سایتهای خبری، خیلی نیاز به ...

ادامه مطلب »

دست به کد: تحلیل احساسی نظرات کاربران درباره یک فیلم

در بخش اول از مجموعه مقالات آموزشی پردازش متن، با مفاهیم پایه متن کاوی و همچنین کتابخانه فارسی هضم برای کار با متون فارسی آشنا شدید. در ادامه این سری آموزشی با بررسی یکی از مسابقات پردازش متن سایت معروف کگل، به صورت عملی با جنبه های نوین این شاخه ...

ادامه مطلب »

مسابقه پیش بینی نتیجه انتخابات بر اساس داده های تلگرام

آیا سیستم های هوش مصنوعی می توانند نتیجه انتخابات ایران را پیش بینی کنند؟ در حالی که اکثر نظر سنجی ها، پیروزی هیلاری کلینتون در انتخابات آمریکا را پیش بینی می کردند، سیستم هوش مصنوعی MogIA نظری متفاوت داشت. همچنین Mogia در مورد سه انتخابات ریاست جمهوری اخیر و دوره ...

ادامه مطلب »

سایت مرجع دانشگاه های ایران – نمونه ای کاربردی از پردازش متن

جای خالی کارهای حرفه ای تحلیل و تصویرسازی داده ها در کشور به خوبی احساس می شود و شما به ندرت در ارگانهای رسمی دولتی که داده های اصلی کشور را در اختیار دارند شاهد آمارهای عمومی دقیق و تصویر سازی درست آنها هستید. به عنوان مثال وارد سایت مرکز ملی ...

ادامه مطلب »

دست به کد – استخراج متن وب سایتها با Scrapy

استخراج اطلاعات از وب سایتها با اسکرپی

در بخش دوم از سری آموزشهای پردازش متون فارسی با پایتون با توجه به اینکه در ادامه کار، نیاز به مجموعه ای از متون فارسی برای پردازش خواهیم داشت، تصمیم گرفتم نحوه استخراج متون از سایتها را با کتابخانه Scrapy توضیح دهم. سعی کرده ام که کدها بسیار ساده و ...

ادامه مطلب »

مجلس گرافی – یک کار مهندسی داده حرفه ای به زبان فارسی

زلیخا گفتن و یوسف شنیدن             شنیدن کی بود مانند دیدن امروزه حرف از مهندسی داده و ضرورت پردازش و استفاده موثر از داده ها به کرات به گوش می خورد اما مثالهای فارسی و بومی که بتوان به علاقه مندان نشان داد که خروجی ...

ادامه مطلب »

مقدمه ای بر پردازش متون فارسی با پایتون

پردازش متن به عنوان یکی از زیرحوزه های فعال هوش مصنوعی، سابقه ای دیرینه در زبان فارسی دارد و آزمایشگاه های مختلفی در دانشگاه ها و سازمانها برای پردازش متن شکل گرفته اند که آزمایشگاه پردازش متن و زبان طبیعی دانشگاه تهران و آزمایشگاه فناوری وب دانشگاه فردوسی و کارگروه ...

ادامه مطلب »

آشنایی با الگوریتم Word2Vec گوگل

برای بسیاری از روشهای پردازش متن و NLP،  نیاز به نمایش عددی کلمات و متون داریم تا بتوانیم از انواع روشهای عددی حوزه یادگیری ماشین مانند اکثر الگوریتم های دسته بندی روی لغات و اسناد استفاده کنیم. یکی از رهیافت هایی که در این حوزه بسیار رایج شده است ، ...

ادامه مطلب »