欢迎来到无限飞翔,在这里,你会找到许多有趣的技术 : )

Ruia:基于 asyncio 和 aiohttp 的异步爬虫框架(Python)

开发者头条 407℃

Ruia 中文文档

Ruia是一个基于asyncio和aiohttp的异步爬虫框架,它的目标是让你更加方便且迅速地编写出属于自己的爬虫

很高兴你能使用Ruia来实现爬虫程序,不过在编码之前,希望你能通读此文档,因为它包含了Ruia的使用方法以及一些基础概念介绍

First steps

Topics

  • Item:定义爬虫的目标字段
  • Selector:从HTML中提取出目标字段
  • Request:请求并抓取目标网站资源
  • Response:进一步封装响应内容
  • Middleware:使爬虫支持第三方扩展
  • Spider:爬虫程序的入口

Getting help

如果在使用过程中遇到了困难,随时欢迎提Issue

也随时欢迎加我微信拉您进群交流,备注(Ruia):

sanic_group

转载请注明:无限飞翔 » Ruia:基于 asyncio 和 aiohttp 的异步爬虫框架(Python)

喜欢 (0)or分享 (0)