خانه / علم داده / دست به کد

دست به کد

دست به کد: جمع آوری و تحلیل اولیه آگهی‌های استخدام جابینجا

در این نوشتار، به استخراج داده‌های سایت کاریابی جابینجا به کمک کتابخانه اسکرپی و تحلیل داده‌های شرکتها با نرم افزار پاور بی آی پرداخته‌ایم. آماده سازی داده‌ها برای پردازش، بیشترین زمان تحلیل بصری آنها را به خود اختصاص داده است.

ادامه مطلب »

پیش‌بینی قیمت خودرو بر اساس دیتاست منتشر شده سایت دیوار

مجموعه کافه‌بازار اخیراً دیتاستی حاوی حدود یک میلیون رکورد از خرید و فروش‌های سایت دیوار را به صورت عمومی منشتر کرده‌اند و سعید میرشکاری تحلیل ساده‌ای بر روی آنها انجام داده است که این مقاله، بازنشر مطلب ایشان است.

ادامه مطلب »

دست به کد: جمع آوری و تحلیل داده‌های توئیتر فارسی در چند دقیقه

اگر قصد جمع‌آوری و تحلیل داده‌های فارسی در شبکه‌های اجتماعی و بخصوص توئیتر را دارید، به کمک این آموزش گام به گام و به مدد امکانات آنلاین مایکروسافت، در چند دقیقه و بدون نیاز به نصب نرم افزار یا حتی آشنایی با برنامه‌نویسی، شروع به جمع آوری و تحلیل داده‌های توئیتر نمایید.

ادامه مطلب »

چطوری کپچای سیستم گلستان رو با کمک یادگیری ماشین بشکنیم؟

همه‌ی ما از کپچا (CAPTCHA) فراری ایم – همون تصاویر مزاحمی رو میگم که نوشته های درهم ریخته است و برای اینکه به فرم یا صفحه ای از سایت دسترسی داشته باشیم باید اونو تایپ کنیم. کپچاها برای تشخیص انسان از بات ها (همون برنامه های اتوماتیک) و معمولا برای ...

ادامه مطلب »

دست به کد – استخراج متن وب سایتها با Scrapy

استخراج اطلاعات از وب سایتها با اسکرپی

در این مقاله به نحوه ساخت یک خزنده وب برای استخراج اطلاعات سایتها به کمک کتابخانه معروف اسکرپی می‌پردازیم و با زدن یک مثال کاربردی برای استخراج اخبار سایت ایسنا، روند کار را به صورت مرحله به مرحله توضیح داده‌ایم.

ادامه مطلب »