خانه / Questions / از کدام crawler استفاده کنم؟

از کدام crawler استفاده کنم؟

0
0

برای کراول اطلاعات از چند وب سایت در حال تحقیق هستم. این وب سایت API ندارند و اینطور خدماتی هم ارائه نمیدن. ساختار سایتشون به این صورته که ابتدا باید در سایت لاگین کنی و بعد شماره سریال مورد نظرت رو جستجو کنی تا مشخصات محصول رو بهت نمایش بده. مشخصات محصول در یک پنجره popup باز میشه. که شامل یک جدوله

سایت ها رو بررسی کردم به هیچ روشی نمیشه بهشون request از نوع get یا post ارسال کرد که اطلاعات رو دریافت کنی. تنها روشی که به ذهنم رسیده کراول این وب سایت ها است. یعنی از طریق وب سایت خودم request رو به crawler ارسال کنم و کراولر هم در سایت مورد نظر لاگین بشه و اطلاعات رو دریافت کنه و…

دوستان برای این کار چه کراولری رو پیشنهاد میکنید؟

مطلب زیر رو مطالعه کردم و به نظر Scrapy تویه این زمینه بهتر باشه و قادر به انجام چنین کاری هست.

لینک مطلب

زبان کراولر برام مهم نیست چی باشه. java, python و یا… مهم رسیدن به هدفه پس هر پیشنهادی دارید ممنون میشم.

  • You must to post comments
2
0

اول از همه با کمک افزونه postman در کروم، که امکان ارسال انواع درخواستهای HTTP را دارد و اطلاعات کاربری و رمز عبور شما را هم به عنوان ورودی دریافت می کند، تست بفرمایید و ببنید که امکان ارسال دستور get به صفحات مورد نظر شما وجود دارد یا نه .

در صورت تایید این امر، کراولر Scrapy را به شخصه برای این موضوع پیشنهاد می کنم.

موفق باشید.

  • You must to post comments
نمایش 1 نتیجه
پاسخ شما

لطفا تا امکان ارسال فراهم گردد .