Python爬虫框架选哪个好？老男孩Python

　　大家都知道，python是一门非常受欢迎的编程语言，之所以受欢迎不仅仅只是简单易学，更大一部分原因跟python框架有关系，那么你知道python爬虫一般会用到什么框架吗?

　　1、Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求。

　　2、pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。

　　3、Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

　　4、Portia是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站!简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核;可视化爬取内容，不需要任何开发专业知识;动态匹配相同模板的内容。

　　5、Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。Grab提供一个API用于执行网络请求和处理接收到的内容，例如与HTML文档的DOM树进行交互。

　　以上就是五种常见的Python爬虫主流框架介绍，想要学习了解更多的Python相关知识，可以登录老男孩IT教育官网咨询。

注意：吐槽知乎网只是一个问答与文章免费发布平台，所有信息均有会员免费发布，不产生金钱交易，如果你有资金往来，请及时通过电话与对方联系，调查清楚，确认无误在选择，否则造成你的损失，由自己承担，本平台概不负责，谢谢！